计算机应用

作者：戴朝霞, 曹堉栋, 朱光明, 沈沛意, 徐旭, 梅林, 张亮

单位：1.中国电子科技集团公司第三十研究所，成都 610041；2.西安电子科技大学 计算机科学与技术学院，西安 710071；3.西安市智能软件工程重点实验室，西安 710071；4.公安部第三研究所，上海 200031

关键词：模型压缩,深度卷积神经网络,残差网络,知识蒸馏,深度学习

基金：国家自然科学基金资助项目(62072358);国家重点研发计划项目(2020YFF0304900);陕西省重点研发计划项目(2018ZDXM-GY-036)

在传统知识蒸馏框架中，教师网络将自身的知识全盘传递给学生网络，而传递部分知识或者特定知识的研究几乎没有。考虑到工业现场具有场景单一、分类数目少的特点，需要重点评估神经网络模型在特定类别领域的识别性能。基于注意力特征迁移蒸馏算法，提出了三种特定知识学习算法来提升学生网络在特定类别分类中的分类性能。首先，对训练数据集作特定类筛选以排除其他非特定类别的训练数据；在此基础上，将其他非特定类别视为背景并在蒸馏过程中抑制背景知识，从而进一步减少其他无关类知识对特定类知识的影响；最后，更改网络结构，即仅在网络高层抑制背景类知识，而保留网络底层基础图形特征的学习。实验结果表明，通过特定知识学习算法训练的学生网络在特定类别分类中能够媲美甚至超越参数规模六倍于它的教师网络的分类性能。

来源：2021年第12期

《计算机应用》期刊编辑部

查看计算机应用杂志2021年第12期