基于遮蔽多头注意力的CTC-Conformer中文语音识别模型

• 全文链接
• 请求原文

作   者：

黄天圆;  王超; 

作者机构：

河北工程大学信息与电气工程学院; 

关键词：

CTC;  语言处理;  Conformer;  遮蔽多头注意力; 

期刊名称：

智能计算机与应用

i s s n：

2095-2163

年卷期：

2025 年 15 卷 002 期

页   码：

162-167

摘   要：

Conformer模型是语言处理任务中广泛应用的模型之一，其结合了Transformer模型和卷积神经网络的特点，既能捕捉到局部和全局的序列特征又能更好地理解输入数据的结构和上下文信息。然而，现有Conformer模型中的音频和文本之间对齐关系存在不确定性，同时模型采用的多头注意力还会将未来时间步输入信息泄漏到当前时间步。采用连接时序分类(Connectionist Temporal Classification, CTC)机制进行辅助训练，不仅可以提高基于Macaron-Net结构的Conformer模型鲁棒性，还可以解决音频和文本不对齐问题。在解码器部分，应用遮蔽多头自注意力机制以确保在t时刻模型无法查看未来时间步的输入信息，从而保证模型仅利用已生成的标记进行预测。实验结果表明，基于遮蔽多头注意力的CTC-Conformer模型相对于Conformer模型的字错率与损失率均有所下降，损失值最低达到了3.24。