基于元蒸馏的个性化联邦学习算法

• 全文链接
• 请求原文

作   者：

孙艳华;  史亚会;  王朱伟;  李萌;  司鹏搏; 

作者机构：

北京工业大学信息与通信工程学院;  北京工业大学先进信息网络北京实验室; 

关键词：

元学习;  知识蒸馏;  个性化;  联邦学习; 

期刊名称：

北京邮电大学学报

i s s n：

1007-5321

年卷期：

2023 年 46 卷 001 期

页   码：

12-18

摘   要：

联邦学习(FL)中客户端数据异构导致训练的统一模型无法满足每个客户端对性能的需求.针对这一问题,提出了一种个性化联邦学习算法——元蒸馏联邦学习,将知识蒸馏和元学习与FL结合,并将个性化过程嵌入FL.在每次全局迭代中,每个客户端的本地模型(即学生模型)在蒸馏全局模型(即教师模型)的同时将自身情况反馈给教师模型并使其不断更新,从而获得一个更优的教师模型以进行个性化学习.仿真结果表明,与现有个性化算法相比,所提算法在提高个性化精度的同时能在全局精度和个性化精度之间取得较好的折中.