国内刊号:51-1307/TP
国际刊号:1001-9081
发布日期:
作者:邱鑫源, 叶泽聪, 崔翛龙, 高志强
单位:1.武警工程大学 研究生大队, 西安 710086;2.武警工程大学 反恐指挥信息工程研究团队, 西安 710086;3.武警工程大学乌鲁木齐校区, 乌鲁木齐 830049
关键词:联邦学习,通信开销,模型压缩,并行计算,客户端选择策略
基金:国家自然科学基金资助项目(U1603261);武警工程大学基础研究基金资助项目(WJY202124)
为了解决数据共享需求与隐私保护要求之间不可调和的矛盾,联邦学习应运而生。联邦学习作为一种分布式机器学习,其中的参与方与中央服务器之间需要不断交换大量模型参数,而这造成了较大通信开销;同时,联邦学习越来越多地部署在通信带宽有限、电量有限的移动设备上,而有限的网络带宽和激增的客户端数量会使通信瓶颈加剧。针对联邦学习的通信瓶颈问题,首先分析联邦学习的基本工作流程;然后从方法论的角度出发,详细介绍基于降低模型更新频率、模型压缩、客户端选择的三类主流方法和模型划分等特殊方法,并对具体优化方案进行深入的对比分析;最后,对联邦学习通信开销技术研究的发展趋势进行了总结和展望。
来源:2022年第2期
《计算机应用》期刊编辑部