利用深度学习对托福听力部分进行机器理解

胡蓉， 田时宇

(湖南信息学院 通识教育学院， 湖南 长沙 410151)

0 引言

随着共享视频、社交网络和在线课程等的普及，多媒体或音频内容的数量增长速度远远快于人们可以观看或收听的内容。用户可以轻松地浏览文本，但音频内容则不是这样，因为它们不能直接显示在屏幕上，因此，访问大量的多媒体或音频内容对人类来说是困难和耗时的。因此，利用机器实现自动理解语音内容，并为人类提取甚至可视化关键信息是非常必要的。尽管文本和视觉内容的机器理解已经得到了广泛的研究，但是口语内容的机器理解仍然是一个研究较少的问题[1-2]。因此本文对口语内容的机器理解进行了初步尝试。

本文以托福考试为研究目标，针对托福考试中的听力部分，利用深度学习进行机器理解。本研究提出了一种新的框架TAL，利用基于注意力的Tree-LSTM来构造考虑词序的句子表示[3]。本文利用自然语言的层次结构和注意机制的选择能力，证明了该模型优于朴素方法和其他基于神经网络的模型。

1 对听力的机器理解

1.1 系统架构

TAL网络架构，如图1所示。

由图1可知，模型中有两个关键模块:第一个是Tree-LSTM[4]，它将句子编码成连续的表示形式，由依赖解析器提供层次结构，而不是简单的顺序结构，因此它利用了人类语言的内在属性；第二个关键模块是注意模块(attention module)。在接下来的实验中，发现将这两个模块结合在一起比以前仅使用Tree-LSTM和注意力机制(attention mechanism)更为出色。

模型不同组件的详细信息如下所示。……