基于注意力机制的TDNN-LSTM模型及应用

金 浩，朱文博，段志奎，陈建文，李艾园

(佛山科学技术学院，广东佛山 528000)

0 引 言

在近十几年中，深度学习技术一直保持着飞速发展的状态，极大地推动了语音识别技术的不断发展。在大数据条件下，无论是传统语音识别技术、基于深度学习的语音识别技术，还是端到端语音识别技术、都已经相当成熟，各种商业化产品也相应落地实现。但在小样本数据下，由于系统对时序数据的上下文建模能力不足，导致语音识别效果仍不理想。为解决此问题，研究者们主要从丰富数据特征及优化建模方法等方向做了相应的研究。

在丰富数据特征方面，Saon等[1]引入了身份认证矢量(Identity Authentication Vector, IVA) i-vector，它能够有效表征说话人和信道信息，并能提高低资源条件下语音识别的准确率[2]；Ghahremani等[3]提出一种结合i-vector特征的音调提取算法，被证明能够丰富语音数据特征，提高模型上下文建模能力；Gupta等将基于i-vector矢量的说话人自适应算法成功应用在广播音频转录上[4]，得到了良好的识别率。

在优化建模方法方面，有研究者提出了不同于传统高斯混合建模(Gaussian Mixture Model, GMM)的深度神经网络建模方法，如时延神经网络[5](Time Delay Nerual Network, TDNN)、长短时记忆网络[6](Long Short Term Memory, LSTM)以及端到端[7]等基于深度学习的建模方法。但由于训练数据匮乏，时序特征重要程度的差异性在模型上难以体现，导致模型对时序数据的上下文建模能力仍不足。例如时延神经网络在对帧级特征信息进行时序拼接时，如果不能区分重要信息和非重要信息，则容易出现无效信息被重复计算和有效信息丢失的问题[8]。……