联合深度超参数卷积和交叉关联注意力的大位移光流估计

• 全文链接
• 请求原文

作   者：

王梓歌;  葛利跃;  陈震;  张聪炫;  王子旭;  舒铭奕; 

作者机构：

南昌航空大学江西省图像处理与模式识别重点实验室; 

关键词：

光流;  深度超参数卷积;  深度学习;  交叉关联注意力;  大位移; 

期刊名称：

自动化学报

i s s n：

0254-4156

年卷期：

2024 年 008 期

页   码：

1631-1645

摘   要：

针对现有深度学习光流估计模型在大位移场景下的准确性和鲁棒性问题,提出了一种联合深度超参数卷积和交叉关联注意力的图像序列光流估计方法.首先,通过联合深层卷积和标准卷积构建深度超参数卷积以替代普通卷积,提取更多特征并加快光流估计网络训练的收敛速度,在不增加网络推理量的前提下提高光流估计的准确性;然后,设计基于交叉关联注意力的特征提取编码网络,通过叠加注意力层数获得更大的感受野,以提取多尺度长距离上下文特征信息,增强大位移场景下光流估计的鲁棒性;最后,采用金字塔残差迭代模型构建联合深度超参数卷积和交叉关联注意力的光流估计网络,提升光流估计的整体性能.分别采用MPI-Sintel和KITTI测试图像集对本文方法和现有代表性光流估计方法进行综合对比分析,实验结果表明本文方法取得了较好的光流估计性能,尤其在大位移场景下具有更好的估计准确性与鲁棒性.