基于多粒度融合和跨尺度感知的跨模态行人重识别

• 全文链接
• 请求原文

作   者：

程德强;  姬广凯;  张皓翔;  江鹤;  寇旗旗; 

作者机构：

中国矿业大学计算机科学与技术学院;  中国矿业大学信息与控制工程学院; 

关键词：

特征融合;  跨尺度信息;  跨模态;  行人重识别; 

期刊名称：

通信学报

i s s n：

1000-436X

年卷期：

2025 年 46 卷 001 期

页   码：

108-123

摘   要：

提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络，该网络能够有效提取行人图像特征并减少图像间的模态差异。首先，提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架，有效融合不同模态和不同尺度的图像特征；其次，提出一种跨尺度特征信息感知策略，该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响；最后，针对行人图像特征信息不足，设计并行空洞卷积残差模块，获取更为丰富的行人特征信息。将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较。实验结果表明，所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度（mAP）分别达到75.9%和73.3%，在RegDB数据集的可见光到红外的搜索（VIS to IR）模式下的Rank-1和mAP分别达到93.7%和89.3%，优于所对比的方法，充分证实了所提方法的有效性。