适于长短文本分类的CBLGA和CBLCA混联模型

王得强, 吴 军, 王立平

(清华大学 机械工程系, 北京 100084)

0 引 言

如今随着数字信息技术的发展, 各行业中的文本信息数据量飞速增长。这些数据中蕴含着丰富的信息资源, 有着巨大的潜在可挖掘价值, 但其中仍存在着许多信息杂乱无序的问题, 如何从这些潜在信息量巨大的散乱文本数据中提取到可用的资源已成为各行业研究中高度关切的问题。而作为解决该问题的一项关键技术----文本分类, 通过对行业文本数据进行规范归类, 有助于更好地管理与挖掘文本信息, 从而促进行业信息的挖掘利用, 推动行业发展。近年来, 研究人员对文本分类的研究也取得了一定的进展, 但仍然存在准确率和分类速度难以兼备的问题。

现在常用的文本分类技术有支持向量机(SVM： Support Vector Machines)[1]、 朴素贝叶斯、 K最近邻(KNN： K-Nearest Neighbor)[2]、 隐马尔可夫模型(HMM： Hidden Markov Model)[3]等。而随着近几年深度学习算法在自然语言处理领域取得越来越多的优秀成果, 利用神经网络进行文本分类成为一个重要的研究方法, 目前使用较多的模型有循环神经网络(RNN： Recurrent Neural Network)[4]和卷积神经网络(CNN: Convolution Neural Networks)等模型。而对在计算机视觉领域表现尤佳的卷积神经网络(CNN)在文本分类领域中, CNN可充分发挥自身含有的多层感知器的拟合功能, 在文本分类过程中发挥了很好的非线性关系映射能力和高维复杂数据学习能力, 在语音识别、 计算机视觉等领域中发挥了重要且效果显著的作用[5]。针对英文文本, Kim等[6]提出了一种适用的分类模型, 主要方法是先对词向量进行数据的预处理, 然后将其输入到CNN中, 经模型处理后输出句子类别。……