用于心理压力检测的多模态融合方法及装置
- 专利权人:
- 清华大学
- 发明人:
- 冯铃,张慧君,曹檑
- 申请号：
- CN201910567398.X
- 公开号：
- CN110301920B
- 申请日:
- 2019.27.06
- 申请国别(地区):
- CN
- 年份:
- 2020
- 代理人:
- 摘要：
- 本发明实施例提供一种用于心理压力检测的多模态融合方法及装置,本发明基于生理数据‑>文本、生理数据‑>图片、文本‑>生理数据、文本‑>图片、图片‑>生理数据、图片‑>文本的注意力强化特征矩阵,基于前馈全连接神经网络,获取文本、图片和生理数据的融合特征矩阵;接着基于文本、图片、生理数据的重要性权重值以及文本、图片和生理数据的融合特征矩阵,获取三种模态的融合表示矩阵;最后基于述三种模态的融合表示矩阵以及前馈全连接网络获取反映心理压力问题的压力分类向量。本发明通过融合文本图片数据与生理相关数据,不仅弥补了由文本和图片数据的主观性带来的不足,解决了生理相关数据的一些固有问题。
- 来源网站：
- 中国工程科技知识中心
