基于低秩分解和向量量化的深度网络压缩方法

• 全文链接
• 请求原文

作   者：

王东炜;  刘柏辰;  韩志;  王艳美;  唐延东; 

作者机构：

机器人学国家重点实验室(中国科学院沈阳自动化研究所); 

关键词：

卷积神经网络;  图像分类;  张量分解;  向量量化;  模型压缩; 

期刊名称：

计算机应用

i s s n：

1001-9081

年卷期：

2024 年 007 期

页   码：

1987-1994

摘   要：

随着人工智能的发展，深度神经网络成为多种模式识别任务中必不可少的工具，由于深度卷积神经网络（CNN）参数量巨大、计算复杂度高，将它部署到计算资源和存储空间受限的边缘计算设备上成为一项挑战。因此，深度网络压缩成为近年来的研究热点。低秩分解与向量量化是深度网络压缩中重要的两个研究分支，其核心思想都是通过找到原网络结构的一种紧凑型表达，从而降低网络参数的冗余程度。通过建立联合压缩框架，提出一种基于低秩分解和向量量化的深度网络压缩方法——可量化的张量分解（QTD）。该方法能够在网络低秩结构的基础上实现进一步的量化，从而得到更大的压缩比。在CIFAR-10数据集上对经典ResNet和该方法进行验证的实验结果表明，QTD能够在准确率仅损失1.71个百分点的情况下，将网络参数量压缩至原来的1%。而在大型数据集ImageNet上把所提方法与基于量化的方法PQF(Permute,Quantize,and Fine-tune）、基于低秩分解的方法TDNR(Tucker Decomposition with Nonlinear Response）和基于剪枝的方法CLIP-Q(Compression Learning by In-parallel Pruning-Quantization）进行比较与分析的实验结果表明，QTD能够在相同压缩范围下实现更好的分类准确率。