基于深度学习的电子病历多模态数据融合研究进展

• 全文链接
• 请求原文

作   者：

范勇;  张政波;  王晶; 

作者机构：

北京交通大学计算机与信息技术学院;  解放军总医院医学创新研究部; 

关键词：

电子病历;  医学人工智能;  多模态融合;  多模态医学数据;  深度学习; 

期刊名称：

生物医学工程学杂志

i s s n：

1001-5515

年卷期：

2024 年 41 卷 005 期

页   码：

1062-1071

摘   要：

目前基于深度学习的多模态学习发展迅速，在图文转换、图文生成等人工智能生成内容领域得到广泛应用。电子病历是医务人员在医疗活动过程中使用信息系统生成的数字、图表和文本等数字化信息。基于深度学习的电子病历多模态融合能辅助医护人员综合分析诊疗过程中产生的医学多模态数据，从而对患者进行精准诊断和及时干预。本文首先介绍了基于深度学习的多模态数据融合方法以及发展趋势；其次，对结构化电子病历数据与影像、文本等其他模态医学数据的融合进行了对比归纳，重点介绍了研究涉及的临床应用场景、样本量、融合方法等；通过分析，总结了针对不同模态医学数据融合的深度学习方法：一是根据数据模态选择合适的预训练模型进行特征表征后融合，二是基于注意力机制进行融合；最后，讨论了医学多模态融合中的难点及发展方向，包括建模方法、模型评估应用等。通过本文综述，期望为建立能综合利用各类模态医学数据的算法模型提供参考信息。