融合多教师模型的知识蒸馏文本分类

• 全文链接
• 请求原文

作   者：

苑婧;  周杨;  胡校飞;  孙姝娅;  张呈龙;  刘龙辉; 

作者机构：

战略支援部队信息工程大学;  华北水利水电大学; 

关键词：

XLNet;  BiGRU-CNN;  知识蒸馏;  BERT-wwm-ext;  文本分类; 

期刊名称：

电子技术应用

i s s n：

0258-7998

年卷期：

2023 年 49 卷 011 期

页   码：

42-48

摘   要：

针对简单文本分类模型精度不高,预训练模型结构复杂,在实际环境中难以直接使用的问题,提出多教师知识蒸馏的文本分类方法.该模型使用"教师-学生网络"的训练方法,教师模型为BERT-wwm-ext和XLNet预训练模型,将两个模型输出的概率矩阵通过权重系数融合为软标签.学生模型为BiGRU-CNN网络,使用均方差函数计算软标签误差,使用交叉熵损失函数计算硬标签误差,通过硬标签和软标签训练学生模型使损失函数值达到最小.实验结果表明,提出的方法精度较学生模型有较大的改进,接近预训练模型,在保证分类精度的前提下减少了运行时间,提高了效率.