基于注意力增强元学习网络的个性化联邦学习方法

• 全文链接
• 请求原文

作   者：

高雨佳;  王鹏飞;  刘亮;  马华东; 

作者机构：

北京邮电大学计算机学院(国家示范性软件学院);  智能通信软件与多媒体北京市重点实验室(北京邮电大学); 

关键词：

注意力机制;  元学习;  深度学习;  分布式机器学习;  联邦学习; 

期刊名称：

计算机研究与发展

i s s n：

1000-1239

年卷期：

2024 年 61 卷 001 期

页   码：

196-208

摘   要：

联邦学习作为一种分布式机器学习框架,客户端可以在不向服务器传输数据的情况下进行全局模型训练,解决了数据分散和数据隐私的问题.联邦学习可以在具有相似数据特征和分布的客户端上很好地工作.但是在很多场景中,客户端数据在分布、数量和概念上的不同,造成了全局模型训练困难.为此,个性化联邦学习作为一种新的联邦学习范式被提出,它旨在通过客户端与服务器的协作来保证客户端个性化模型的有效性.直观来讲,为具有相似数据特征和分布的客户端提供更紧密的协作关系可以有利于个性化模型的构建.然而,由于客户端数据的不可见性,如何细粒度地提取客户端特征,并定义它们之间的协作关系是一个挑战.设计了一个注意力增强元学习网络(attention-enhanced meta-learning network,AMN)来解决这个问题.AMN可以利用客户基础模型参数作为输入特征,训练元学习网络为每个客户端提供一个额外的元模型,自动分析客户特征相似性.基于双层网络设计,有效地实现客户端个性与共性的权衡,提供了包含有益客户信息的融合模型.考虑到训练过程中需要同时训练元学习网络和客户本地基础网络,设计了一种交替训练策略,以端到端的方式进行训练.为了证明该方法的有效性,在 2个基准数据集和 8种基准方法上进行了大量实验,相较于现有表现最优的个性化联邦学习方法,该方法在 2个数据集中平均分别提升了3.39%和2.45%的模型性能.