结合一维扩展卷积与Attention机制的NLP模型

廖文雄，曾 碧，徐雅芸

广东工业大学 计算机学院，广州 510006

自然语言处理（Natural Language Processing，NLP）是信息技术最重要的研究方向之一[1]。自然语言处理是利用计算机技术研究和处理语言的一门学科，把计算机作为语言研究的工具，对语言或文字信息进行定量化的研究，并提供人与计算机之间能够共同使用的语言描写[2]。随着现代信息规模的急剧增大，大部分的自然语言处理任务（如文本分类、情感分析、中文分词、机器翻译）都很难通过浅层学习[3]的算法完成。

目前在自然语言领域最常用的深度学习模型主要有循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN）。但是循环神经网络及其变体LSTM（Long Short-Term Memory）[4]、GRU（Gated Recurrent Unit）[5]结构较复杂，并且存在时序依赖问题，难以实现并行化计算[6]。虽然CNN 能够容易地实现并行化计算，但是CNN 只能关联卷积窗口内的特征信息，而不能像循环神经网络那样联系全文[7]。

为了提升CNN 联系上下文的能力，本文提出一种结合一维扩展卷积和Attention 机制的自然语言处理模型，与LSTM 相比，本模型能够更好更快地完成自然语言处理的任务。

1 相关工作

自然语言处理算法大致分为以下两类：（1）浅层学习方法；（2）深度学习方法。

1.1 浅层学习方法

经典的自然语言处理算法主要有朴素贝叶斯算法、K近邻算法、支持向量机以及最大熵模型等算法，这些都称为浅层学习方法。Pang等人[8]使用朴素贝叶斯、支持向量机、最大熵等模型在电影评价的情感分析任务中取得较好的效果。这些浅层模型最多拥有1～2 个非线性特征转换层，计算量小且容易实现，在解决简单问题上能取得较好的效果，但是由于对复杂问题的表达能力有限，难以完成现代复杂的自然语言处理任务。……