计算机应用

作者：杨晟, 李岩

单位：1.机器人学国家重点实验室（中国科学院沈阳自动化研究所），沈阳 110169；2.中国科学院机器人与智能制造创新研究院，沈阳 110016；3.中国科学院大学，北京 100049

关键词：深度神经网络,知识蒸馏,对比学习,模型压缩,目标检测

知识蒸馏在图像分类等任务中是最有效的模型压缩方法之一，然而它在复杂任务如目标检测上的应用较少。现有的知识蒸馏方法主要专注于构建信息图，以过滤教师和学生在特征提取过程中来自前景或背景区域的噪声，最小化特征之间的均方差损失；然而，这些方法的目标函数难以进一步优化，且只利用教师的监督信号，导致学生缺乏对非正确知识的针对性信息。基于此，提出一种面向目标检测的对比知识蒸馏（CKD）方法。该方法重新设计蒸馏框架和损失函数，不仅使用教师的监督信号，而且利用构造的负样本提供指导信息进行知识蒸馏，让学生在获得教师的知识的同时通过自我学习获取更多知识。在Pascal VOC和COCO2014数据集上，使用GFocal（Generalized Focal loss）和YOLOv5模型将所提方法与基线方法对比的实验结果表明：CKD方法在Pascal VOC数据集上使用GFocal模型的平均精度均值（mAP）提升5.6个百分点，平均精度（阈值为0.5）AP50提升5.6个百分点；在COCO2014数据集上使用YOLOv5模型的mAP提升1.1个百分点，AP50提升1.7个百分点。

来源：2025年第2期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第2期