国内刊号:51-1307/TP
国际刊号:1001-9081
发布日期:
作者:张珂嘉, 方志军, 周南润, 史志才
单位:1.上海工程技术大学 电子电气工程学院,上海 201620;2.东华大学 计算机科学与技术学院,上海 201620;3.上海中侨职业技术大学 信息工程学院,上海 201514
关键词:联邦学习,数据异构,个性化联邦学习,模型预分配,自蒸馏
基金:科技创新2030—“新一代人工智能”重大项目(2020AAA0109300);上海市科委地方院校能力建设项目(23010501800)
联邦学习(FL)是一种分布式机器学习方法,即利用分布式数据在训练模型的同时保护数据隐私。然而,它在高度异构的数据分布情况时表现不佳。个性化联邦学习(PFL)通过为每个客户端提供个性化模型来解决这一问题。然而,以往的PFL算法主要侧重于客户端本地模型的优化,忽略了服务器端全局模型的优化,导致服务器计算资源没有得到充分利用。针对上述局限性,提出基于模型预分配(PA)与自蒸馏(SD)的PFL方法FedPASD。FedPASD从服务器端和客户端2方面入手:在服务器端,对下一轮客户端模型有针对性地预先分配,这样不仅能提高模型的个性化性能,还能有效利用服务器的计算能力;在客户端,经过分层训练,并通过模型自蒸馏微调使模型更好地适应本地数据分布的特点。在3个数据集CIFAR-10、Fashion-MNIST和CIFAR-100上,将FedPASD与FedCP (Federated Conditional Policy)、FedPAC (Personalization with feature Alignment and classifier Collaboration)和FedALA (Federated learning with Adaptive Local Aggregation)等作为基准的典型算法进行对比实验的结果表明:FedPASD在不同异构设置下的测试准确率都高于基准算法。具体而言,FedPASD在CIFAR-100数据集上,客户端数量为50,参与率为50%的实验设置中,测试准确率较传统FL算法提升了29.05~29.22个百分点,较PFL算法提升了1.11~20.99个百分点;在CIFAR-10数据集上最高可达88.54%测试准确率。
来源:2026年第1期
《计算机应用》期刊编辑部