基于Transformer的胃癌显微高光谱图像分割方法

• 全文链接
• 请求原文

作   者：

张然;  金伟;  牟颖;  于丙文;  柏怡文;  邵益波;  平金良;  宋鹏涛;  何湘漪;  刘飞;  付琳琳; 

作者机构：

湖州师范学院附属中心医院;  浙江大学控制科学与工程学院;  浙江大学湖州研究院; 

关键词：

Transformer;  显微高光谱;  深度学习;  图像分割; 

期刊名称：

光谱学与光谱分析

i s s n：

1000-0593

年卷期：

2025 年 45 卷 002 期

页   码：

551-557

摘   要：

胃癌是全球第五常见的恶性肿瘤并死亡率较高，严重威胁人类的生命健康。因此，早期识别胃癌病变对早期胃癌诊断至关重要。显微高光谱成像技术作为一种新兴技术，可以在微观层面同时获取生物组织丰富的光谱信息和空间信息，为早期病理切片诊断提供了一种新的思路。利用显微高光谱成像系统，采集了在400～1 000 nm波段范围的胃癌显微高光谱病理图像，通过光谱校正等预处理构建了包含230张图像的胃癌显微高光谱数据集。尽管基于空间注意力的方法在图像分类、分割等领域已取得了显著成果，但在处理高光谱图像时仍面临计算复杂度高以及光谱信息利用不充分的问题。为此，提出了基于卷积和注意力机制的混合双分支Transformer(MDBT)的特征提取主干网络模型。该模型通过交替应用空间混合模块和通道混合模块，实现块间和块内的空间和通道特征聚合。具体而言，设计了窗口注意力和卷积双分支以及空间和通道交互结构。这种设计不仅降低了计算复杂度，还通过卷积交互实现了窗口间信息交互和特征融合，从而克服了窗口注意力感受野受限的问题，进一步提高了Transformer的全局建模能力。在进行图像分割实验中，采用UperNet模型作为解码头网络对主干网络提取得到的特征进行还原，以得到最终的分割结果。在采集得到的胃癌高光谱数据集上进行了五折交叉验证实验，结果表明本模型的平均mDice和mIoU分别达到85.39、 74.66,性能优于目前UNet、 Swin、 PVT、 VIT等主流图像分割网络模型。同时设计一系列消融实验，验证本文提出空间和通道双混合模块、卷积与窗口注意力双分支等结构对实验结果的优化效果。实验结果表明本文提出的MDBT模型能够有效利用高光谱图像丰富的空间和光谱信息，提高胃癌图像分割准确率，证明显微高光谱成像技术在胃癌诊断方面具有一定的研究意义和应用价值。