6月12日,CSA多模态情感计算课题组第23期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是基于双级特征恢复的高效多模态Transformer的鲁棒性多模态情感分析。
河南科技大学2024级硕士研究生李晓康对《Efficient Multimodal Transformer With Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis》文献进行汇报交流。本次汇报分为五个部分:介绍多模态情感分析的重要性及当前面临的挑战,如特征不对齐和模态特征缺失。第二部分综述相关工作,包括多模态Transformer和特征缺失重建及其改进方法。第三部分阐述研究内容,提出EMT-DLFR框架,通过高效多模态Transformer(EMT)和双级特征恢复(DLFR)实现特征交互和鲁棒性提升。第四部分展示实验结果,通过在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上的测试,表明该方法在完整和不完整模态设置下均达到先进性能,并对实验结果进行可视化及有效性分析。**后总结了本文的主要贡献并展望未来工作,如将EMT-DLFR应用于更多模态缺失场景和不同数据集。
在交流讨论环节,宋斌老师对汇报进行了总结,并提出了宝贵的建设性建议。其他与会组员围绕汇报内容提出了问题并展开了深入讨论,进一步加深了对相关问题的理解。
(图文/李晓康 审核/宋斌)