结合注意力机制的乳腺双模态超声分类网络

• 全文链接
• 请求原文

作   者：

赵绪;  龚勋;  樊琳;  罗俊; 

作者机构：

西南交通大学计算机与人工智能学院;  四川省医学科学院四川省人民医院超声科; 

关键词：

注意力机制;  乳腺超声;  特征融合与分类;  双模态数据;  智能诊断; 

期刊名称：

中国图象图形学报

i s s n：

1006-8961

年卷期：

2022 年 27 卷 003 期

页   码：

911-922

摘   要：

目的 影像学医师通常通过观察乳腺B型超声(brightness-mode ultrasound)肿瘤区域进行良恶性分析,针对难以辨别的病例则融合其对应的超声造影(contrast-enhanced ultrasound,CEUS)特征进一步判别.由于超声图像灰度值范围变化小、良恶性表现重叠,特征提取模型如果不能关注到病灶区域将导致分类错误.为增强网络模型对重点区域的分析,本文提出一种基于病灶区域引导的注意力机制,同时融合双模态数据,实现乳腺超声良恶性的精准判别.方法 通过对比实验,选取一个适合超声图像特征提取的主干分类模型ResNet34;为学习到更有分类意义的特征,以分割结节的掩膜图(region of interest,ROI-mask)作为引导注意力来修正浅层空间特征;将具有分类意义的超声造影各项评价特征向量化,与网络提取的深层特征进行融合分类.结果 首先构建一个从医院收集的真实病例的乳腺超声数据集BM-Breast(breast ultrasound images dataset),与常见分类框架ResNet、Inception等进行对比实验,并与相关最新乳腺分类研究成果对比,结果显示本文设计的算法在各项指标上都有较大优势.本文提出的融合算法的分类准确性为87.45%,AUC(area under curve)为0.905.为了评估对注意力引导机制算法设计的结果,在本文实验数据集和公开数据集上分别进行实验,精度相比对比算法提升了3%,表明本文算法具有较好的泛化能力.实验结果表明,融合两种模态超声数据的特征可以提升最终分类精度.结论 本文提出的注意力引导模型能够针对乳腺超声成像特点学习到可鉴别的分类特征,双模态数据特征融合诊断方法进一步提升了模型的分类能力.高特异性指标表现出模型对噪声样本的鲁棒性,能够较为准确地辨别出难以判别的病例,本文算法具有较高的临床指导价值.