非独立同分布场景下的联邦学习优化方法

• 全文链接
• 请求原文

作   者：

宋华伟;  李升起;  万方杰;  卫玉萍; 

关键词：

数据分布;  聚类;  分层优化;  联邦学习;  数据异构;  持续学习; 

期刊名称：

计算机工程

i s s n：

1000-3428

年卷期：

2024 年 50 卷 003 期

页   码：

166-172

摘   要：

联邦学习能够在不泄露数据隐私的情况下合作训练全局模型,但这种协作式的训练方式在现实环境下面临参与方数据非独立同分布(Non-IID)的挑战:模型收敛慢、精度降低的问题.许多现有的联邦学习方法仅从全局模型聚合和本地客户端更新中的一个角度进行改进,难免会引发另一角度带来的影响,降低全局模型的质量.提出一种分层持续学习的联邦学习优化方法(FedMas).FedMas基于分层融合的思想,首先,采用客户端分层策略,利用DBSCAN算法将相似数据分布的客户端划分到不同的层中,每次仅挑选某个层的部分客户端进行训练,避免服务器端全局模型聚合时因数据分布不同产生的权重分歧现象;进一步,由于每个层的数据分布不同,客户端在局部更新时结合持续学习灾难性遗忘的解决方案,有效地融合不同层客户端数据间的差异性,从而保证全局模型的性能.在MNIST和CIFAR-10标准数据集上的实验结果表明,FedMas与FedProx、Scaffold和FedCurv联邦学习算法相比,全局模型测试准确率平均提高0.3~2.2个百分点.