基于多层级视频Transformer的视觉自动定位方法

• 全文链接
• 请求原文

作   者：

邹琦萍;  李博涛;  陈赛安;  郭茜;  张桃红; 

作者机构：

北京科技大学计算机与通信工程学院;  广西高校人工智能与信息处理重点实验室(河池学院); 

关键词：

视频Transformer;  视觉自动定位;  视频分类;  可变形注意力; 

期刊名称：

工程科学与技术

i s s n：

2096-3246

年卷期：

2024 年 56 卷 006 期

页   码：

34-43

摘   要：

工业自动化产线中，设备的异常检测直接决定加工质量，由机械臂和搭载于机械臂前端的工业相机构成的视觉系统可以有效监测此类异常。本文使用六轴机械臂搭载工业相机对工件表面进行成像，获取由模糊到清晰再到模糊的视频序列，以此选出最清晰的视频帧作为自动加工中有聚焦要求的距离指导，以进行聚焦异常修正，从而实现自动定位。提出一种基于多层级视频Transformer的视频分类模型多级视频Transformer(MLVT)用于高语义级别的视频表征学习，并用于选出视频序列中成像最清晰的帧。首先，提出一种具有多种感受野的token划分方法多级标记（MLT），能够将原始视频数据按2D图像补丁、3D图像补丁、帧和片段这4个层级划分成token序列，并在加入位置编码之后送入多级编码器（MLE）方法进行注意力的计算。为了缓解多层级的tokens带来的计算代价和收敛速度慢的问题，MLE引入一种逐层的可变形注意力机制逐层可变形注意力机制（LWLA），以一种可学习的方式代替全局注意力进行特征相似性的计算。最终，该方法3个版本的模型在本文的视频数据集上分别取得了87.2%、88.6%、88.9%的分类准确率，在与同参数量级的主流视频Transformer实验对比中均表现了最优的性能，有效地完成了从视频序列中选择出最清晰帧的任务，能够为下游视觉任务的性能提供强有力保障。