音乐舞蹈视频中音乐-动作片段识别方法的研究

基金项目类型：

国家自然科学基金

基金项目编号：

61170185

来源网站：

国家自然科学基金委员会

来源网址：

http://www.nsfc.gov.cn/

负责人：

石祥滨

完成单位：

沈阳航空航天大学

中文关键词：

音乐; 舞蹈; 特征提取; 姿态估计; 动作识别;

其他语种关键词：

music; dance; feature extraction; pose estimation; action recognition

项目类型：

面上项目

语种：

中文

开始日期：

2012-01-01

结束日期：

2015-12-31

中文摘要：

视频人体运动分析由于其复杂性一直是学术界的研究热点。本课题对现有的音乐舞蹈视频资料进行自动分析，提取音乐特征和人体图像特征，分析舞蹈姿态和动作，并形成音乐-动作片段及其摘要，以满足舞蹈理论研究、教学、舞蹈视频检索和自动舞蹈编排等应用的需求。提出一种基于层次结构的音乐情感识别方法，采用乐段、小节和音符分层结构描述音乐特征，并根据乐段特征识别音乐情感；提出一种基于音乐特征的舞蹈姿态估计方法，采用层次贝叶斯网络，底层网络根据人体图像特征估计人体各部位的姿态特征，顶层网络根据人体各部位的姿态特征、音乐特征和舞蹈风格估计总体人体姿态；提出一种基于音乐情感特征的舞蹈动作识别方法，在对姿态序列进行分段的基础上，采用条件随机场，根据人体运动统计特征、音乐情感特征和舞蹈风格识别舞蹈动作，并形成音乐-动作片段及其摘要。最后，建立一个原型系统，对本课题的研究方法进行验证。