基于自适应分层梯度压缩的分布式训练通信优化方法

• 全文链接
• 请求原文

作   者：

王晓晓;  朱晓娟; 

作者机构：

安徽理工大学计算机科学与工程学院; 

关键词：

参数服务器;  梯度压缩;  通信优化;  分布式机器学习;  稀疏化; 

期刊名称：

湖北民族大学学报(自然科学版)

i s s n：

2096-7594

年卷期：

2025 年 43 卷 001 期

页   码：

34-40

摘   要：

针对分布式机器学习场景中，多个计算节点和参数服务器节点之间频繁传输参数和梯度导致通信开销较大、模型训练效率较低的问题，提出基于自适应分层梯度压缩(adaptive layered gradient compression, ALGC)的通信优化方法。首先，为每层神经网络设置1个合适的压缩阈值，选择性地压缩大于该阈值的层；其次，为被选择压缩的每层单独设定稀疏阈值，并动态调整该阈值，实现对每层梯度传输的自适应压缩；最后，将计算与通信重叠，利用参数服务器汇总每层的梯度和梯度残差完成对全局模型的更新。结果表明，ALGC方法的训练准确率最高可达95.07%,并且实现了最短收敛时间和最大加速比。ALGC方法在保证模型训练准确率的同时，对于提升模型训练速度和降低通信开销具有重要作用。