分块压缩学习剪枝算法

• 全文链接
• 请求原文

作   者：

刘会东;  余振华;  杜方;  宋丽娟; 

作者机构：

宁夏大学信息工程学院; 

关键词：

遗传算法;  知识蒸馏;  网络剪枝;  网络架构搜索; 

期刊名称：

小型微型计算机系统

i s s n：

1000-1220

年卷期：

2023 年 44 卷 002 期

页   码：

269-274

摘   要：

为压缩网络剪枝过程中较大的搜索空间,从预训练深度神经网络中找到最佳的稀疏网络结构,本文提出一种基于遗传算法和知识蒸馏的分块压缩学习算法(CCLA).首先,在预定义压缩空间中将学生网络初始化为一个稀疏网络结构.然后,将教师网络和学生网络按层划分多个块网络,在教师网络的监督下对学生网络进行逐块压缩.最后,使用遗传算法搜索学生网络中每个块网络的稀疏结构.在CIFAR-10数据集上对VGG-16网络和ResNet-110网络的实验结果表明,本文所提方法性能表现良好,例如,在CIFAR-10数据集上对VGG-16进行压缩,可压缩掉87.82%的参数和70.4%的浮点运算(Floating Point of opera-tions,FLOPs),而精度损失仅为0.37%.