跨模态表征与生成技术

• 全文链接
• 请求原文

作   者：

刘华峰;  陈静静;  李亮;  鲍秉坤;  李泽超;  刘家瑛;  聂礼强; 

作者机构：

北京大学王选计算机研究所;  复旦大学计算机科学技术学院;  中国科学院计算技术研究所;  南京邮电大学通信与信息工程学院;  南京理工大学计算机科学与工程学院;  哈尔滨工业大学(深圳)计算机科学与技术学院; 

关键词：

跨模态生成;  多媒体技术;  深度学习;  大模型;  跨模态学习;  跨模态表征; 

期刊名称：

中国图象图形学报

i s s n：

1006-8961

年卷期：

2023 年 06 期

页   码：

1608-1629

摘   要：

多媒体数据持续呈现爆发式增长并显现出异源异构的特性，因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余，从而获得更为有效的特征表示；跨模态生成则是基于模态之间的语义一致性，实现不同模态数据形式上的相互转换，有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展，包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中，传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征，多模态大模型表示学习探讨了基于Transformer的模型研究，图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展，跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性，对比了国内外研究方面的进展情况，梳理了发展脉络和学术研究的前沿动态。最后，根据上述分析展望了跨模态表征与生成的发展趋势和突破口。