多媒体情感标签标注中音频信号重要性分析

• 全文链接
• 请求原文

作   者：

陈墨;  郭雷; 

作者机构：

西北工业大学自动化学院; 

关键词：

多模态融合;  脑电图;  情感计算;  情感标签标注; 

期刊名称：

计算机工程与应用

基金项目：

脑网络结构与功能信息融合及脑疾病研究

i s s n：

1002-8331

年卷期：

2018 年 09 期

页   码：

1-4

摘   要：

情感标签标注是情感计算中的一个重要领域。该领域中针对音频、图像和多媒体内容的情感标签标注已有多个相关工作发表。为分析某个基于脑电图的大脑编码的多媒体情感标签标注中音频信号的重要性,情感计算公开数据库DEAP被用作测试基准。基于DEAP数据库的多媒体刺激,共提取了音频特征和三类视频特征。首先仅使用视频特征基于该框架进行多媒体标签标注任务,之后联合使用音频和视频特征进行同样的工作。实验结果表明,与仅使用视频特征的结果相比,联合使用音视频特征可以提高标注准确率,并且没有因为增加特征维数造成性能损失。