面向非独立同分布数据的联邦学习架构

• 全文链接
• 请求原文

作   者：

邱天晨;  郑小盈;  祝永新;  封松林; 

作者机构：

中国科学院上海高等研究院; 

关键词：

聚类;  数据均衡;  非独立同分布;  隐私保护;  毒药攻击防御; 

期刊名称：

计算机工程

i s s n：

1000-3428

年卷期：

2023 年 49 卷 007 期

页   码：

110-117

摘   要：

在超大规模边缘设备参与的联邦学习场景中,参与方本地数据为非独立同分布,导致总体训练数据不均衡且毒药攻击防御困难.有监督学习中增强数据均衡的多数方法所要求的先验知识与联邦学习的隐私保护原则发生冲突,而针对非独立同分布场景中的毒药攻击,现有的防御算法则过于复杂或侵害数据隐私.提出一种多服务器架构FedFog,其能在不泄露参与方本地数据分布的前提下,对数据分布相似的参与方进行聚类,将非独立同分布的训练数据转换成多个独立同分布的数据子集.基于各聚类中心,全局服务器计算出从各类别数据中提取的特征在全局模型更新时的权重,从而缓解总体训练数据不均衡的负面影响.同时,将毒药攻击防御任务从参与方全集分配至每个聚类内部,从而解决毒药攻击防御问题.实验结果表明:在总体训练数据不均衡的场景中,FedFog的全局模型精度相较FedSGD最多获得了 4.2个百分点的提升;在总体数据均衡但 1/3的参与方为毒药攻击者的场景中,FedFog的收敛性接近于无毒药攻击场景中的FedSGD.