基于神经架构搜索的非结构化剪枝方法

• 全文链接
• 请求原文

作   者：

王宪保;  刘鹏飞;  项圣;  王辛刚; 

作者机构：

浙江工业大学信息工程学院; 

关键词：

搜索空间;  网络剪枝;  神经架构搜索(NAS);  层级相关系数传播;  掩码参数; 

期刊名称：

模式识别与人工智能

i s s n：

1003-6059

年卷期：

2023 年 36 卷 005 期

页   码：

448-458

摘   要：

由于难以使用客观标准删除深度神经网络中的冗余单元,剪枝后的网络表现出性能的急剧退步.针对此问题,文中提出基于神经架构搜索的非结构化剪枝方法.首先,将掩码学习模块定义在搜索空间中,以便删除冗余的权重参数.然后,引入层级相关系数传播,在反向传播过程中为每个网络权重分配一个层级相关系数,以此衡量每个权重对网络输出的贡献度,并帮助二值掩码参数的更新.最后,对网络权重、架构参数和层级相关系数进行统一更新.在CIFAR-10、ImageNet分类数据集上的实验表明,文中方法能够在高剪枝率场景下保持网络的泛化能力,满足模型部署的要求.