9月18日,CSA多模态情感计算课题组第29期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是基于多模态解耦表示学习的多尺度动态情感分析方法研究与应用。
河南科技大学2024级硕士研究生李晓康围绕其课题《基于多模态解耦表示学习的多尺度动态情感分析方法研究与应用》进行了开题汇报。该研究立足于多模态情感分析在实际应用中面临的模态缺失、噪声干扰和语义表征不足等挑战,系统综述了国内外研究现状,包括基于潜在子空间和多个子空间的表示学习方法、多层次融合策略以及对比学习范式的广泛应用。针对现有方法在动态时序建模和缺失模态鲁棒性方面的不足,本研究提出三个核心内容:一是构建随机缺失模态下的多层级对比学习机制,增强模型抗干扰能力;二是引入结合Mamba与自注意力的动态解耦融合方法,实现模态不变与特定特征的有效分离与融合;三是将所提方法应用于自研平台“雒盾”,进行多模态情感倾向验证与分析。课题预期提出一种高精度、高鲁棒性的情感分析模型,并完成专利申请、论文发表及实际应用,为复杂场景下的多模态情感分析提供新思路
在交流讨论环节,宋斌老师对汇报进行了总结,并提出了宝贵的建设性建议。其他与会组员围绕汇报内容提出了问题并展开了深入讨论,进一步加深了对相关问题的理解。
(图文/李晓康 审核/宋斌)