06月22日，CSA多模态情感计算课题组第24期学术组会成功召开，会议由国际联合实验室宋斌老师主持。本次组会的主题是《多层次对比学习：多模态情感分析中异质性的分层缓解》。

河南科技大学2024级硕士研究生谢志鹏对文献《多层次对比学习：多模态情感分析中异质性的分层缓解》进行了汇报总结。该文献针对情感识别中近年来遇到的多模态数据的异质性差距问题，大胆假设多模态特征融合是一个渐进的过程。通过多级对比学习（MCL）以及多层卷积融合（MCF）进行渐进性融合，提出了MCL-MCF框架。MCL主要分为**：**级减轻个体模态中的异质性，使得在融合开始时更容易融合模态之间的信息。第二级降低单模态与双峰或三峰数据之间的异质性，进一步增强了融合过程。对于第**利用了张量卷积融合 (TCF) 模块。通过外积获得的多模态矩阵 “图像”进行多层卷积来提取**特征，进而通过第**对比学习促进特征融合。MCF主要分为两个步骤：1)单峰特征的融合导致获得**层的融合特征；2) 从每个单峰特征中提取**特征，并随后将其与从**层获得的融合特征融合。实验结果表明，该模型相比多个基线模型取得了更好的性能表现，有效解决了当前多模态情感识别中的异质性差距问题。

在交流环节，师生之间展开了深入提问探讨，充分了解了多模态中对于异质性差距的解决方法，为各位老师同学未来解决相关问题研究提供了新思路。

（图文/谢志鹏 审核/宋斌）