梁仁凤,余正涛,高盛祥,黄于欣,郭军军,许树理
(1. 昆明理工大学 信息工程与自动化学院,云南 昆明 650500;2. 昆明理工大学 云南省人工智能重点实验室,云南 昆明 650500)
自动语音识别(Automatic Speech Recognition,ASR)是把语音中包含的词汇内容转换为计算机可理解的文本。随着深度学习的快速发展,ASR系统主要分为两类:传统混合系统和当前主流的端到端模型。传统混合系统[1]基于深度神经网络隐马尔可夫模型(Deep Neural Networks - Hidden Markov Models ,DNN-HMM)对声学模型建模,使用发音字典将音素序列转换为词,再通过一个语言模型将词序列映射为句子。系统训练时,这些声学、发音和语言组件有不同的激活函数,通常单独训练和优化。为了弥补传统混合系统的不足,当前流行的端到端模型[2]将传统混合系统折叠为一个单一的神经网络,去除传统框架中所有中间步骤和独立子任务,输入语音特征,直接输出源语言文本,具有容易训练、模型简单和联合优化的优势,目前取得显著效果。当前端到端模型流行的方法主要有连接时序分类算法(Connectionist Temporal Classification,CTC)[3]和使用CTC与注意力对齐机制的混合方法[4]。CTC不需要对训练语料预先分段和后处理,直接输出标签。然而,CTC基于条件独立假设训练ASR模型,缺乏对输入序列间上下文关系的建模。因此,注意力对齐机制[5]引入到基于序列到序列结构的语音识别模型中[6],但过度灵敏的关注对齐方式应用到真实的语音识别场景中会表现出比较差的效果。于是, Kim等人[7]结合CTC和注意力机制的优势提出基于两者的混合语音识别模型。……