计算机应用

作者：张文烨, 尚方信, 郭浩

单位：1. 中国人民大学 信息学院, 北京 100872;2. 山西虚拟现实产业技术研究院有限公司, 太原 030024;3. 太原理工大学 信息与计算机学院, 太原 030024

关键词：深度神经网络,模型量化,模型压缩,卷积神经网络,深度学习

基金：国家自然科学基金资助项目（61672374）。

浮点数位宽的深度神经网络需要大量的运算资源，这导致大型深度神经网络难以在低算力场景（如边缘计算）上部署。为解决这一问题，提出一种即插即用的神经网络量化方法，以压缩大型神经网络的运算成本，并保持模型性能指标不显著下降。首先，基于Octave卷积将输入特征图的高频和低频成分进行分离；其次，分别对高低频分量应用不同位宽的卷积核进行卷积运算；第三，使用不同位宽的激活函数将高低频卷积结果量化至相应位宽；最后，混合不同精度的特征图来获得该层卷积结果。实验结果证实了所提方法压缩模型的有效性，在CIFAR-10/100数据集上，将模型压缩至1+8位宽时，该方法可保持准确率指标的下降小于3个百分点；在ImageNet数据集上，使用该方法将ResNet50模型压缩至1+4位宽时，其正确率指标仍高于70%。

来源：2021年第5期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第5期