基于挤压激励的轻量化注意力机制模块

• 全文链接
• 请求原文

作   者：

吕振虎;  许新征;  张芳艳; 

作者机构：

中国矿业大学计算机科学与技术学院;  宁夏大学智能工程与技术学院; 

关键词：

挤压激励;  多维度;  卷积神经网络;  注意力机制模块;  轻量化; 

期刊名称：

计算机应用

i s s n：

1001-9081

年卷期：

2022 年 42 卷 008 期

页   码：

2353-2360

摘   要：

针对向卷积神经网络(CNN)中嵌入注意力机制模块以提高模型应用精度导致参数和计算量增加的问题,提出基于挤压激励的轻量化高度维度挤压激励(HD-SE)模块和宽度维度挤压激励(WD-SE)模块.为了充分利用特征图中潜在的信息,HD-SE对卷积层输出的特征图在高度维度上进行挤压激励操作,获得高度维度上的权重信息;而WD-SE在宽度维度上进行挤压激励操作,以得到特征图宽度维度上的权重信息;然后,将得到的权重信息分别应用于对应维度的特征图张量,以提高模型的应用精度.将HD-SE与WD-SE分别嵌入VGG16、ResNet56、MobileNetV1和MobileNetV2模型中,在CIFAR10和CIFAR100数据集上进行的实验结果表明,与挤压激励(SE)模块、协调注意力(CA)模块、卷积块注意力模块(CBAM)和高效通道注意力(ECA)模块等先进的注意力机制模块相比,HD-SE与WD-SE在向网络模型中增加的参数和计算量更少的同时得到的精度相似或者更高.