一种基于在线蒸馏的轻量化噪声标签学习方法

• 全文链接
• 请求原文

作   者：

黄贻望;  黄雨鑫;  刘声; 

作者机构：

福建理工大学计算机科学与数学学院;  铜仁学院大数据学院; 

关键词：

元学习;  知识蒸馏;  噪声数据;  伪标签;  标签校正; 

期刊名称：

计算机研究与发展

i s s n：

1000-1239

年卷期：

2024 年 61 卷 012 期

页   码：

3121-3133

摘   要：

利用含有有损标签的噪声数据来训练深度学习模型是机器学习中的研究热点.研究表明深度学习模型训练易受噪声数据的影响而产生过拟合现象.最近,一种将元学习与标签校正相结合的方法能够使模型更好地适应噪声数据以减缓过拟合现象,然而这种元标签校正方法依赖于模型的性能,同时轻量化模型在噪声数据下不具备良好的泛化性能.针对这一问题,本文结合元学习提出一种基于在线蒸馏的轻量化噪声标签学习方法KDMLC(knowledge distillation-based meta-label correction learning),该方法将深度神经网络与多层感知机构成的元标签校正(meta label correction,MLC)模型视为教师模型,对噪声标签进行校正并指导轻量化模型进行训练,同时采用双层优化策略训练并增强教师模型的泛化能力,从而生成更高质量的伪标签用于训练轻量化模型.实验表明,KDMLC在高噪声水平下对比MLC方法准确率提高了 5.50个百分点;同时对CIFAR10数据集使用Cutout数据增强,KDMLC在高噪声水平下对比MLC准确率提升了 9.11个百分点,而在真实噪声数据集Clothing1M上的实验,KDMLC也优于其他方法,验证了KDMLC的可行性和有效性.