基于多阶段注意力网络架构NMSNet的多模态情感识别方法和系统
- 专利权人:
- 南京邮电大学
- 发明人:
- 闫静杰,李婧,高崧皓,于凯,丁俊丰,徐峰峰
- 申请号：
- CN202211222664.3
- 公开号：
- CN115517680A
- 申请日:
- 2022.10.08
- 申请国别(地区):
- CN
- 年份:
- 2022
- 代理人:
- 摘要：
- 本发明公开了一种基于多阶段注意力网络架构NMSNet的多模态情感识别方法和实施该方法的系统。该识别方法包括以下步骤：步骤一、对各个单模态特征进行简单的特征提取后，送入NAM残差模块；步骤二、对单模态特征进行特征选择之后，送入多头注意力网络进行特征融合；以及步骤三、融合之后的特征送入分段小波注意力模块进行滤波。本发明提出了一种新的多阶段注意力网络架构NMSNet，来学习多模态情感特征融合，通过上述步骤，最大程度上实现了注意力权重分配，使得模型专注于对情感识别更为重要的部分，同时构建了新的多阶段注意力网络架构NMSNet。
- 来源网站：
- 中国工程科技知识中心
