基于多模态数据对比学习的重度抑郁症表征学习方法

• 全文链接
• 请求原文

作   者：

顾恒;  马迪;  马越;  邵伟;  张礼; 

作者机构：

江苏卫生健康职业学院中西医结合学院;  南京林业大学信息科学技术学院/人工智能学院;  南京航空航天大学计算机科学与技术学院/人工智能学院/软件学院; 

关键词：

多模态数据;  对比学习;  模型归因;  诊断模型;  重度抑郁症; 

期刊名称：

陕西师范大学学报(自然科学版)

i s s n：

1672-4291

年卷期：

2025 年 53 卷 001 期

页   码：

12-21

摘   要：

影像基因组学认为神经影像与基因之间存在着一定程度的相关性，利用遗传变异与影像数据进行疾病分析愈发受研究人员重视。在实践中，临床医生拥有的数据规模往往较小，但仍然希望使用深度学习来解决现实问题。考虑到不断扩大的数据规模与昂贵的标注成本，构建能够利用多模态数据的无监督学习方法十分必要。为了满足上述需求，提出了一种基于影像与基因多模态表格数据对比学习的表征学习方法(multimodal tabular data with contrastive learning, MTCL),该模型利用了静息态功能磁共振成像(rs-fMRI)和单核苷酸多态性(single nucleotide polymorphisms, SNP)数据，无需数据的任何标签信息。为了增强可解释性，模型先通过特征提取模块将rs-fMRI和SNP数据转换为表格类型结构，再通过多模态表格数据对比学习模块对多模态数据进行融合，并获得融合后的数据表征。在重度抑郁症(major depression disorder, MDD)数据上，文中提出的方法能够有效提升MDD诊断性能。此外，MTCL方法结合了模型归因方法挖掘与MDD相关的影像和遗传生物标记物，提高了模型的可解释性，有助于研究人员对疾病发病机制的理解。