视觉深度学习模型压缩加速综述

• 全文链接
• 请求原文

作   者：

丁贵广;  陈辉;  王澳;  杨帆;  熊翊哲;  梁伊雯; 

作者机构：

清华大学 软件学院;  清华大学 北京信息科学与技术国家研究中心; 

关键词：

序列剪枝;  Transformer;  轻量化结构;  模型蒸馏;  模型压缩;  模型量化;  视觉深度学习;  模型剪枝; 

期刊名称：

智能系统学报

i s s n：

1673-4785

年卷期：

2024 年 19 卷 005 期

页   码：

1072-1081

摘   要：

近年来,深度学习模型规模越来越大,在嵌入式设备等资源受限环境中,大规模视觉深度学习模型难以实现高效推理部署.模型压缩加速可以有效解决该挑战.尽管已经出现相关工作的综述,但相关工作集中在卷积神经网络的压缩加速,缺乏对视觉Transformer模型压缩加速方法的整理和对比分析.因此,本文以视觉深度学习模型压缩技术为核心,对卷积神经网络和视觉Transformer模型 2 个最重要的视觉深度模型进行了相关技术手段的整理,并对技术热点和挑战进行了总结和分析.本文旨在为研究者提供一个全面了解模型压缩和加速领域的视角,促进深度学习模型压缩加速技术的发展.