计算机应用

作者：王忠锋, 徐志远, 宋纯贺, 张宏宇, 蔡颖凯

单位：1.机器人学国家重点实验室(中国科学院 沈阳自动化研究所)，沈阳 1100162.网络化控制系统重点实验室(中国科学院 沈阳自动化研究所)，沈阳 1100163.中国科学院 机器人与智能制造创新研究院，沈阳 1101694.中国科学院大学，北京 1000495.国网辽宁省电力有限公司，沈阳 110016

关键词：深度网络,压缩与加速,剪枝,自适应阈值,神经网络

深度神经网络模型通常存在大量冗余的权重参数，计算深度网络模型需要占用大量的计算资源和存储空间，导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题，提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先，通过自适应的方法找出阈值进行权值参数的筛选；然后，剔除那些小于阈值的梯度所对应的权值；最后，重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明：在CIFAR-10数据集上，GDP算法在精度仅下降0.14个百分点的情况下，计算量减少了35.3个百分点；与当前流行的PFEC算法相比，GDP算法使网络模型精度提高了0.13个百分点，计算量下降了1.1个百分点，具有更优越的深度网络压缩与加速性能。

来源：2020年第5期

《计算机应用》期刊编辑部

查看计算机应用杂志2020年第5期