4月24日，CSA多模态情感计算课题组第21期学术组会成功召开，会议由国际联合实验室宋斌老师主持。本次组会的主题是《Hierarchical Interactive Multimodal Transformer for Aspect-Based Multimodal Sentiment Analysis》。

河南科技大学2024级硕士研究生刘文静汇报了论文《Hierarchical Interactive Multimodal Transformer for Aspect-Based Multimodal Sentiment Analysis》。论文指出以往对基于方面的多模态情感分析（ABMSA）的研究可归纳为两个子任务：基于方面项的多模态情感分类（ATMSC）和基于方面类别的多模态情感分类（ACMSC）。然而，这些现有研究存在三个缺陷：(1) 忽视了图像中的对象级语义；(2) 主要关注方面-文本和方面-图像之间的交互；(3) 未考虑文本和图像表征之间的语义差距。为了解决这些问题，论文提出了一种通用的分层交互式多模态变换器（HIMT）模型。具体来说，通过对象检测方法从图像中提取具有语义概念的突出特征，然后提出一个分层交互模块，首先建立方面-文本和方面-图像交互模型，然后捕捉文本-图像交互。此外，还设计了一个辅助重构模块，在很大程度上消除了文本和图像表征之间的语义差距。实验结果表明，在 ATMSC 的两个基准和 ACMSC 的一个基准上，我们的 HIMT 模型明显优于**先进的方法。

在交流讨论环节，宋斌老师对汇报内容进行了总结，并提出了建议。

（图文/刘文静  审核/宋斌）