基于多源信号和神经网络的双模态情绪识别方法及系统

• 收藏
• 分享

专利权人:

南京理工大学

发明人:

顾陈,刘锋,洪弘,李彧晟,孙理,朱晓华

申请号：

CN202011492594.4

公开号：

CN114707530A

申请日:

2020.12.17

申请国别(地区):

CN

年份:

2022

代理人:

摘要：

本发明公开了一种基于多源信号和神经网络的双模态情绪识别方法及系统。首先从雷达回波信号中提取呼吸信号，从视频人脸脸颊区域提取PPG信号，从PPG信号中提取心跳信号，利用一维卷积神经网络提取生理信号的特征，其次，从视频中提取眼部及嘴部区域的连续图片帧，利用二维卷积神经网络和长短时记忆网络提取其特征，然后基于多模态紧凑型双线性池化算法进行特征融合，采用注意力机制为每一维融合后的特征赋不同权重，最后通过分类层进行情绪识别。本发明利用双模态传感器结合紧凑型双线性池化特征融合算法来实现情绪识别，与传统的单模态传感器以及特征拼接式的特征融合相比，有效降低了特征维度，避免维度爆炸，同时提升了情绪识别的准确率。

来源网站：

中国工程科技知识中心

来源网址：

http://www.ckcest.cn/home/