基于Transformer的多子空间多模态情感分析

• 全文链接
• 请求原文

作   者：

田昌宁;  贺昱政;  王笛;  万波;  郭栩彤; 

作者机构：

西安电子科技大学计算机科学与技术学院;  中国电子科技集团公司第五十四研究所; 

关键词：

多模态情感分析;  多子空间;  Transformer结构;  多头注意力机制; 

期刊名称：

西北大学学报(自然科学版)

i s s n：

1000-274X

年卷期：

2024 年 54 卷 002 期

页   码：

156-167

摘   要：

多模态情感分析是指通过文本、视觉和声学信息识别视频中人物表达出的情感.现有方法大多通过设计复杂的融合方案学习多模态一致性信息,而忽略了模态间和模态内的差异化信息,导致缺少对多模态融合表示的信息补充.为此提出了一种基于Trans-former 的多子空间多模态情感分析(multi-subspace Transformer fusion network for multimo-dal sentiment analysis,MSTFN)方法.该方法将不同模态映射到私有和共享子空间,获得不同模态的私有表示和共享表示,学习每种模态的差异化信息和统一信息.首先,将每种模态的初始特征表示分别映射到各自的私有和共享子空间,学习每种模态中包含独特信息的私有表示与包含统一信息的共享表示.其次,在加强文本模态和音频模态作用的前提下,设计二元协同注意力跨模态Transformer模块,得到基于文本和音频的三模态表示.然后,使用模态私有表示和共享表示生成每种模态的最终表示,并两两融合得到双模态表示,以进一步补充多模态融合表示的信息.最后,将单模态表示、双模态表示和三模态表示拼接作为最终的多模态特征进行情感预测.在2个基准多模态情感分析数据集上的实验结果表明,该方法与最好的基准方法相比,在二分类准确率指标上分别提升了0.025 6/0.014 3 和 0.000 7/0.002 3.