融合多模态文本关联分析与挖掘的跨媒体社会图像检索方法研究

基金项目类型：

国家自然科学基金

基金项目编号：

61572140

来源网站：

国家自然科学基金委员会

来源网址：

http://www.nsfc.gov.cn/

负责人：

张玥杰

完成单位：

复旦大学

中文关键词：

跨媒体社会图像检索; 多模态文本; 多模态关联网络; 关联分析与挖掘; 多模态联想;

项目类型：

面上项目

语种：

中文

开始日期：

2016-01-01

结束日期：

2019-12-31

中文摘要：

本课题在传统自然语言处理和信息检索基本理论的基础上，针对互联网环境下大规模社会图像检索的实际需要，侧重于研究跨媒体社会图像检索中多模态文本关联分析与挖掘关键技术，构建融合多模态文本关联分析与挖掘的跨媒体社会图像检索新颖实现框架，并由此引发针对有别于传统文本形式的多模态文本分析与处理、乃至跨媒体社会图像检索策略的深入研究，为社会图像检索用户提供一种高效、精确、易用的智能助手。其中，采取基于自动生成机制构建蕴涵丰富语义和视觉关联信息的多模态关联网络作为重要知识源，有效利用基于多重属性的概念文本项自动抽取模式、跨模态语义评估与消歧模式、跨模态语义扩展与优化模式、跨模态语义排序与过滤模式，特别是跨模态实体-对象语义关联模式、跨模态语义聚合关联模式、面向多模态文本关联分析与挖掘的联想机制等多种新型多模态文本深层次分析、处理、挖掘与联想关键技术，构成功能更加强壮且性能更加完善的跨媒体社会图像检索过程。