计算机应用

作者：王晓兵, 张雄伟, 曹铁勇, 郑云飞, 王勇

单位：1.陆军工程大学 指挥控制工程学院, 南京 210001；2.陆军炮兵防空兵学院(南京校区), 南京 211131；3.安徽省偏振成像与探测重点实验室(陆军炮兵防空兵学院), 合肥 230031

关键词：自蒸馏,目标分割,知识迁移,尺度注意机制,金字塔知识表示

基金：国家自然科学基金资助项目(61801512)

当前的目标分割模型难以兼顾分割性能与推断效率，为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先，构建了一个仅利用主干特征的目标分割网络作为推断网络，实现高效的前向推断过程。其次，提出了一种基于尺度注意知识的自蒸馏学习模型：一方面，设计了具有尺度注意机制的金字塔特征模块，利用尺度注意机制自适应地捕获不同语义水平的上下文信息，提取更具区分性的自蒸馏知识；另一方面，融合交叉熵、KL（Kullback-Leibler）散度和L2距离构造蒸馏损失，高效驱动蒸馏知识向分割网络迁移，提升泛化性能。该方法在COD（Camouflaged Object Detection）、DUT-O（Dalian University of Technology-OMRON）、SOC（Salient Objects in Clutter）等五个目标分割数据集上进行了验证：将所提推断网络作为基准网络，所提自蒸馏模型分割性能在Fβ 指标上平均提升3.01%，比免教师（TF）自蒸馏模型增加了1.00%；所提网络与近期的残差分割网络（R2Net）相比，参数量减少了2.33×106，推断帧率提升了2.53%，浮点运算量减少了40.50%，分割性能提升了0.51%。实验结果表明：所提方法能有效兼顾性能与效率，适用于计算和存储资源受限的应用场景。

来源：2024年第1期

《计算机应用》期刊编辑部

查看计算机应用杂志2024年第1期