基于深度学习和迁移学习的图像自动语义标注方法研究

基金项目类型：

国家自然科学基金

基金项目编号：

61602004

来源网站：

国家自然科学基金委员会

来源网址：

http://www.nsfc.gov.cn/

负责人：

赵鹏

完成单位：

安徽大学

中文关键词：

图像标注; 深度学习; 迁移学习;

项目类型：

青年科学基金项目

语种：

中文

开始日期：

2017-01-01

结束日期：

2019-12-31

中文摘要：

图像自动语义标注方法是多媒体内容理解及各类相关应用的核心技术。本项目在深度学习和迁移学习的框架下，探索解决现有图像自动语义标注中存在的标注性能不高和模型可扩展性不好的问题，将从以下三方面展开研究。（1）大规模视觉特征提取：在深度学习框架下，高效获取鲁棒的潜在多层视觉特征表示。（2）图像语义标注空间的扩展和规范：结合本体论，深度挖掘大量已标注文本中的潜在语义信息，并将其迁移到图像语义标注空间的扩展和规范中。（3）图像语义标注模型学习，包括基于跨媒迁移学习和基于同媒迁移学习的图像语义标注模型学习。提出基于跨媒异构特征典型相关性分析的迁移学习方法，学习到泛化性良好的图像语义标注模型参数；提出基于隐含特征空间的深度迁移学习方法，缩小领域间概率分布差异，将已标注图像领域学习到的语义标注模型迁移到待标注图像领域。本项目的研究将有力地推动图像自动语义标注理论的完善和真实环境下的大规模实用化。