计算机应用

作者：王虎, 王晓峰, 李可, 马云洁

单位：1.北方民族大学 计算机科学与工程学院，银川 750021；2.图形图像智能处理国家民委重点实验室（北方民族大学），银川 750021；3.北方民族大学 数学与信息科学学院，银川 750021

关键词：灾难性遗忘,联邦类增量学习,多头自注意力,标签语义嵌入,无数据知识蒸馏

基金：宁夏自然科学基金资助项目(2024AAC03165);宁夏自然科学基金资助项目(2024AAC03169);宁夏青年拔尖人才项目(2021)

灾难性遗忘对联邦类增量学习（FCIL）构成了显著挑战，导致进行FCIL持续任务时性能下降的问题。针对此问题，提出一种融合多头自注意力（MHSA）的标签语义嵌入（LSE）的FCIL方法——ATTLSE（ATTention Label Semantic Embedding）。首先，融合MHSA的LSE和生成器；其次，在无数据知识蒸馏（DFKD）阶段，依靠融合MHSA的生成器生成更多有意义的数据样本，以指导用户端模型的训练，并降低灾难性遗忘问题在FCIL中的影响。实验结果表明，在CIFAR-100和Tiny_ImageNet数据集上，与LANDER（Label Text Centered Data-Free Knowledge Transfer）方法相比，ATTLSE的平均准确率提升了0.06~6.45个百分点，缓解了持续任务在联邦类增量学习上的灾难性遗忘问题。

来源：2025年第10期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第10期