10月22日,CSA多模态情感计算课题组第31期学术组会顺利召开。本次会议由国际联合实验室宋斌老师主持。本次组会的主题是《社交媒体大数据情感分析关键技术研究》和《COLD Fusion: Calibrated and Ordinal Latent Distribution Fusion for Uncertainty-Aware Multimodal Emotion Recognition》
河南科技大学2023级硕士研究生徐梓博作了题为《社交媒体大数据情感分析关键技术研究》的中期报告。报告围绕社交媒体大数据情感分析的关键技术展开,内容包括研究背景、研究内容、研究进展以及下一步工作计划四个部分。在研究背景部分,报告介绍了社交媒体的广泛普及及情感计算领域的研究热度,阐述了多模态方法相较于单模态方法的优势,并指出了当前研究存在的不足,由此引出了课题的核心研究方向——“社交媒体大数据情感分析关键技术研究”,重点攻克多模态融合、对齐与鲁棒性等难题。在研究内容部分,报告详细介绍了两个研究方向:《基于跨模态互补平衡的对比学习驱动多模态情感分析》和《细粒度多模态情感分析中模态差异与鲁棒性缺失的建模方法》。随后,徐梓博同学展示了研究进展与阶段性成果,并对下一步的研究计划进行了展望与总结。


河南科技大学2025级硕士生张笑笑对《COLD Fusion: Calibrated and Ordinal Latent Distribution Fusion for Uncertainty-Aware Multimodal Emotion Recognition》文献进行汇报交流。本次汇报分五部分:一是点明研究背景与问题,多模态情感识别可整合多类信息理解情绪,但存在模态质量不一、噪声干扰问题,传统方法忽略不确定性致鲁棒性不足,本研究聚焦数据固有噪声的偶然不确定性建模;二是阐述COLD Fusion方法,通过学习单模态时序上下文潜分布、以方差度量不确定性,结合双约束动态分配权重,创新损失函数适配多任务并避免方差坍缩;三是展示实验结果,模型在三大数据集上表现优异,维度与分类任务性能均有提升,噪声环境下性能提升显著,消融实验与校准分析验证模型有效性;四是总结结论,COLD Fusion提供新范式;五是展望未来,计划扩展模态、结合先进模型并探索集成方案。

在交流讨论环节,宋斌老师对汇报进行了总结,并提出了宝贵的建设性建议。其他与会组员围绕汇报内容提出了问题并展开了深入讨论,进一步加深了对相关问题的理解。
(图文/徐梓博、张笑笑 审核/宋斌)