听视觉融合情感描述与表达的关键问题研究

基金项目类型：

国家自然科学基金

基金项目编号：

60703104

来源网站：

国家自然科学基金委员会

来源网址：

http://www.nsfc.gov.cn/

负责人：

蒋冬梅

完成单位：

西北工业大学

中文关键词：

情感特征; 听视觉情感识别; 嘴部动画; 面部表情合成;

其他语种关键词：

emotional features; audio visual emotion recognition; mouth animation; facial expression synthesis

项目类型：

青年科学基金项目

语种：

中文

开始日期：

2008-01-01

结束日期：

2010-12-31

中文摘要：

项目研究了听视觉情感描述与表达的关键问题。在情感特征方面，对音频提出了基于归一化振幅商的全局特征和基于基频的局域韵律特征，对视频提出了基于人脸关键特征点的几何特征和基于面部动作单元的三维面部动作参数特征。在听视觉情感识别方面，提出了听视觉双流异步动态贝叶斯网络（DBN）情感模型，和增加了局域韵律特征的听视觉三流异步DBN情感模型，使得情感识别的识别率远高于音频或视频单流情感识别，以及传统的多流隐马尔科夫模型（MSHMM）；提出了基于ISOMAP降维的心理学情感分析及情感强度计算方法，研究了音频情感强度和视频情感强度变化的关系。在语音驱动的嘴部动画合成方面，分别为孤立词和连续语音提出了结合发音特征并允许发音特征异步的DBN语音模型，在听视觉语音数据库上训练了模型参数，并为输入语音合成了逼真的二维彩色嘴部动画，主观和客观评价结果远高于基于状态的DBN模型或MSHMM。在人脸表情合成方面，研究了基于活动外观模型（AAM）的面部表情序列合成方法，最后用合成嘴部图像的AAM参数代替面部表情图像中相应嘴部的AAM参数，得到了嘴形和发音相一致，而且面部表情和语音情感相一致的说话人面部动画。