兼顾通信效率与效用的自适应高斯差分隐私个性化联邦学习

• 全文链接
• 请求原文

作   者：

李敏;  肖迪;  陈律君; 

作者机构：

重庆大学计算机学院; 

关键词：

个性化联邦学习;  通信高效;  动态层级压缩;  自适应高斯差分隐私;  隐私计算;  隐私—效用权衡; 

期刊名称：

计算机学报

i s s n：

0254-4164

年卷期：

2024 年 47 卷 004 期

页   码：

924-946

摘   要：

近年来,由于联邦学习中的通信参数(或梯度)会给参与方本地敏感数据带来重大的隐私泄露风险,联邦学习隐私保护引起了广泛的关注.然而,梯度交换频繁、数据分布异构、参与方本地硬件资源受限等一系列不可避免的因素给联邦学习隐私保护增加了挑战难度.为了以一种统一的方式同时有效地解决数据隐私、模型效用、通信效率以及参与方数据非独立同分布等四个方面的问题,本文提出了一种新的兼顾通信效率与效用的自适应高斯差分隐私个性化联邦学习(Communication-efficient and Utility-aware Adaptive Gaussian Differential Privacy for Personalized Federated Learning,CUAG-PFL)方法.具体而言,本文提出一种动态层级压缩模型梯度的方案先为通信模型梯度每一层动态生成特定的压缩率,再根据压缩率构造对应的确定性二进制测量矩阵去除梯度冗余信息.随后,通过同时优化裁剪阈值、敏感度和噪声尺度等隐私相关参数来对压缩的模型梯度执行自适应高斯差分隐私操作.此外,本文对CUAG-PFL进行了严格的隐私分析.为了验证CUAG-PFL在隐私、效用、通信效率以及个性化四个方面的优势,本文在CIFAR-10和CIFAR-100两个真实联邦数据集上进行了大量实验模拟、对比和分析,结果表明CUAG-PFL能够提高参与方本地数据隐私性、通信效率和模型效用,同时解决了数据非独立同分布的问题.特别地,即使在隐私预算仅为0.92且上行通信量减少68.6%时,CUAG-PFL因隐私保护和梯度压缩所引起的模型效用损失仅为1.66%.