带自适应学习率的加速随机方差缩减梯度法

• 全文链接
• 请求原文

作   者：

陈国茗;  于腾腾;  刘新为; 

作者机构：

河北工业大学理学院;  河北工业大学人工智能与数据科学学院; 

关键词：

初始化偏差矫正;  随机梯度法;  方差缩减;  动量加速;  自适应学习率; 

期刊名称：

数值计算与计算机应用

i s s n：

1000-3266

年卷期：

2021 年 42 卷 003 期

页   码：

215-225

摘   要：

由于随机方差缩减梯度(SVRG)法在求解经验风险最小化(ERM)问题时表现优异,近年来受到了广泛关注.与SVRG方法中使用固定的学习率不同,结合初始化偏差矫正技术,提出使用自适应方法来动态计算SVRG方法及其加速版本FSVRG方法的学习率,分别称为AdaSVRG方法和AdaFSVRG方法.收敛性分析表明,AdaSVRG方法和AdaFSVRG方法在强凸假设下均具有线性收敛速率.在标准数据集上的数值实验表明,在求解ERM问题时,AdaSVRG和AdaFSVRG需要更少的迭代次数就可以达到相同水平的优化间隙.