基于多模态特征提取与层级感知的遥感图像分割

• 全文链接
• 请求原文

作   者：

张银胜;  单梦姣;  陈昕;  陈戈;  童俊毅;  吉茹;  单慧琳; 

作者机构：

无锡学院江苏省集成电路可靠性技术及检测系统工程研究中心;  南京信息工程大学电子信息与工程学院; 

关键词：

多模态特征提取;  遥感图像分割;  双路径瓶颈块;  双重融合;  层级感知;  多尺度聚合; 

期刊名称：

地球信息科学学报

i s s n：

1560-8999

年卷期：

2024 年 26 卷 012 期

页   码：

2741-2758

摘   要：

高分辨率遥感图像中存在物体视觉特征模糊和同物异谱的问题，在单一模态下对相似地物和阴影遮挡的地物分割较为困难，因此本文提出了一种基于多模态特征提取与层级感知的遥感图像分割模型。本文引入了多模态特征提取模块来提取不同模态的特征信息，并通过坐标注意力机制充分融合不同模态的特征。抽象特征提取模块采用具有双路径瓶颈块的MobileNetV3作为主干网络，并引入了层级感知网络来提取深层次的抽象特征，通过嵌入像素的场景感知来改进注意力机制，实现高效且准确的类级上下文建模。解码部分设计了多尺度聚合双重融合，将低级特征与高级抽象语义特征相结合，利用逐步上采样实现特征恢复。本文基于ISPRS Vaihingen和Potsdam数据集上的高分辨率遥感图像，实验结果表明：(1)在包括C3Net、AMM-FuseNet、MMFNet、CMFet、CIMFNet和EDGNet在内的一系列对比模型中，MFEHPNet在各项性能指标上得到了显著提高，验证了遥感图像的语义分割性能；(2) MFEHPNet在ISPRS Vaihingen和Potsdam的总体精度为92.21%和93.45%、平均交并比为83.24%和83.94%、Kappa为0.85、频率加权交并比为89.24%和90.12%，显著提高了遥感图像的语义分割性能，能有效解决分割中的特征边界模糊和同物异谱等问题。