基于听觉掩蔽生成对抗网络的单通道语音增强方法

杜志浩 韩纪庆

摘 要： 为提高语音识别系统在复杂声学场景下的识别率，出现了以单通道语音增强（Monaural Speech Enhancement）技术作为前端处理的鲁棒语音识别系统。尽管现有的单通道语音增强技术能够提高混响干扰下的识别率，却未能显著提升宽带非平稳噪声干扰下的系统识别率。为此，本文提出基于听觉掩蔽生成对抗网络的单通道增强方法，通过听觉掩蔽增强模型和判别器构成的对抗过程，来使增强后的语音特征满足目标语音的概率分布。实验结果表明，就语音识别率而言，所提出的听觉掩蔽生成对抗网络超越了现有的增强方法，能够相对减少19.50%的词错误率，显著提升语音识别系统的噪声鲁棒性。

关键词： 听觉掩蔽;生成对抗网络;单通道语音增强;鲁棒语音识别

文章编号： 2095-2163（2021）03-0209-06 中图分类号：TP183 文献标志码：A

【Abstract】To improve the accuracy of speech recognition system in the complex acoustic scene， monaural speech enhancement method is involved into the robust automatic speech recognition （ASR） system as a front-end processing. Although monaural speech enhancement has improved the recognition performance under the reverberant conditions， it failed to improve the accuracy of speeches interrupted by the wide-band non-stationary noises. To overcome this problem， the paper proposes the adversarial generative network based on auditory masking for monaural speech enhancement. Through the adversarial process between a discriminator and a masking-based enhancement model， the proposed method can make the enhanced speech features follow the distribution of target speeches. Experimental results show that，  the proposed method outperforms current enhancement method in terms of recognition accuracy. It achieves 19.50% relative word error rate （WER） reduction for a robust ASR system， which indicates that the proposed method can further improve the noise robustness.

0 引 言

在語音识别领域，通常使用含有噪声的语音和纯净语音共同训练自动语音识别（Automatic Speech Recognition，ASR）系统，从而提高其在噪声环境下的识别率。为进一步提高ASR系统在复杂声学场景下的识别率，出现了将单通道语音增强模型作为前端处理的识别系统。这类系统先使用增强模型尽可能地去除含噪语音中的噪声干扰，接着将增强后的语音送入ASR系统，从而得到识别文本。为使增强后的语音和识别系统所要求的输入尽可能地匹配，通常需要利用增强后的语音重新训练ASR系统中的声学模型[1-2]，或者将声学模型和增强模型堆叠，进行联合训练[3-4]。然而，上述这2种方法在增强模型改变时需要重新训练语音识别系统，对实际应用而言，这通常是不合理的。……