计算机应用

作者：曾辉, 熊诗雨, 狄永正, 史红周

单位：1.移动计算与新型终端北京市重点实验室（中国科学院计算技术研究所），北京 100190；2.中国科学院大学 计算机科学与技术学院，北京 100190

关键词：联邦学习,大模型,微调,参数高效微调,模型剪枝

基金：国家重点研发计划项目(2018YFB1004705)

随着数据隐私重要性的不断提升，用于下游任务的预训练基础模型（PFM）的微调变得愈发困难，这推动了基于PFM的联邦学习研究。然而，PFM给联邦学习系统带来了显著的挑战，特别是在本地计算和通信方面。因此，针对联邦学习的本地计算和聚合通信这两个主要阶段，分别提出对应的解决方案，即本地高效微调模式和环形本地聚合模式。本地高效微调模式采用基于参数高效微调（PEFT）的模型剪枝算法以减轻本地计算和通信开销；环形本地聚合模式采用分布式的本地聚合方法取代中心化的聚合方法以提升聚合阶段的通信效率。实验结果表明，所提大模型联邦参数高效微调框架在最终性能和效率方面均表现良好。

来源：2025年第3期

《计算机应用》期刊编辑部

查看计算机应用杂志2025年第3期