基于对比学习的多模态遥感图像融合分类研究

• 全文链接
• 请求原文

作   者：

初壮;  钱育蓉;  范迎迎;  刘怡然; 

作者机构：

新疆大学 软件学院;  新疆大学 计算机科学与技术学院;  信号检测与处理重点实验室(新疆维吾尔自治区);  新疆大学软件学院; 

关键词：

激光雷达;  自监督学习;  多层次特征融合;  对比学习;  多模态遥感分类;  高光谱; 

期刊名称：

微电子学与计算机

i s s n：

1000-7180

年卷期：

2025 年 42 卷 001 期

页   码：

35-44

摘   要：

高光谱与激光雷达图像融合分类技术能够实现对地物的高精度分类。目前，有监督的传统与深度学习方法取得了较好的分类结果，但往往需要大量的标记样本。基于自监督的多模态遥感融合分类研究相对较少，现有的自监督对比学习框架使用数据增强来生成正样本对，并不适用多模态遥感图像，会破坏多模态数据之间的空间分布与语义相似性，且模型过于复杂不利于下游微调任务的泛化。由此，提出了一种基于对比学习的多模态遥感图像融合分类网络（MMCLNet）。与传统的对比学习网络不同，该网络在预训练阶段无需数据增强操作，即可充分利用大量未标记的数据来学习判别特征表示。同时，精心设计的双分支网络降低了网络的复杂性。此外，在微调阶段采用多层次特征融合分类网络，充分整合两个模态数据的异构特征。使用3个真实的多模态遥感图像融合分类数据集进行了大量实验，证明了提出的研究方法在少量标记样本的数据集上具有一定的优势。