计算机应用

作者：赵旭剑, 李杭霖

单位：西南科技大学 计算机科学与技术学院，四川 绵阳 621010

关键词：深度神经网络,网络压缩,网络剪枝,知识蒸馏,参数量化

基金：教育部人文社会科学基金资助项目(17YJCZH260);四川省科学技术厅重点研发项目(2020YFS0057);赛尔网络下一代互联网技术创新项目(NGII20180403)

近年来人工智能（AI）应用飞速发展，嵌入式设备与移动设备等有限资源设备对深度神经网络（DNN）的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义，也是当下深度学习的热门研究话题。首先，针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题，深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能，从而挖掘DNN压缩算法的影响要素；然后，设计学生网络和教师网络组成的知识迁移结构，融合知识蒸馏、结构设计、网络剪枝和参数量化机制，提出基于混合机制的DNN优化压缩算法。在mini-ImageNet数据集上以AlexNet为Benchmark，进行实验比较与分析。实验结果表明，所提算法在压缩结果的准确率降低6.3%的情况下，使压缩后的AlexNet的容量减小98.5%，验证了所提算法的有效性。

来源：2023年第9期

《计算机应用》期刊编辑部

查看计算机应用杂志2023年第9期