2026年5月25日,CSA多模态情感计算课题组第44期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是面向多模态情感分析的知识引导动态模态注意力融合框架。
河南科技大学2025级硕士研究生杨海畅对《Knowledge-Guided Dynamic Modality Attention Fusion Framework for Multimodal Sentiment Analysis》文献进行汇报交流。本次汇报围绕多模态情感分析中静态模态权重与噪声模态干扰难题展开,分五部分系统阐述研究成果:一是聚焦研究背景与核心痛点。多模态情感分析需融合文本、视觉、音频信息推断用户情感,现有方法分为三元对称法、文本中心法两类,均采用静态模态权重,无法适配不同样本主导模态动态变化的实际场景,且约50%的样本包含噪声模态,严重影响情感识别精度。二是详解KuDA框架核心设计。针对痛点,研究提出知识引导动态模态注意力融合框架(KuDA),以情感知识引导动态选择主导模态、自适应调整模态贡献权重为核心,包含知识注入编码、动态注意力融合、输出与训练三大核心模块。三是阐述损失函数体系。采用回归损失与相关估计损失联合训练模式,同步优化情感预测效果与模态相关性,强化主导模态的作用。四是展示实验验证成果。在CH-SIMS、CH-SIMSv2、MOSI、MOSEI四个主流多模态情感分析基准数据集上,KuDA框架性能全面优于TFN、ALMT、CubeMLP等现有方法;消融实验证实各核心组件均带来关键性能提升,t-SNE可视化结果证明模型可有效动态识别并突出主导模态。五是总结。KuDA框架可适配模态重要性分布均匀与不均匀的各类场景,显著提升主导模态利用率与模型泛化能力,为动态模态融合的多模态情感分析研究提供了创新解决方案。

在交流环节,宋斌老师对汇报进行了总结,并提出建设性建议,指明了下一步学习的方向。
(图文/杨海畅 审核/宋斌)