WordNG-Vec:一种应用于CNN文本分类的词向量模型

王 勇,何养明,邹 辉,黎 春,陈荟西

(重庆理工大学 计算机科学与工程学院,重庆 400054)

1 引 言

文本特征提取(文本输入表示)作为文本分类技术里重要的一环,其质量决定了分类系统的分类效果.传统文本输入表示方法的主要问题是表示文本或词语的向量具有高纬度、高稀疏性,对特征语义的表达能力不足,而且神经网络模型不擅长对此类数据的处理,此外依赖人工进行特征处理,效率难以支撑数据量越来越大的文本分类任务.近年来随着深度神经网络的逐渐兴起,相关理论模型(如卷积神经网络、循环神经网络等)最初在图像和语音领域得到较为成功的应用,主要原因在于图像和语音可以转换成计算机可以识别和处理的具有连续和稠密性的数据,数据特点是有局部关联性.可见,使用深度神经网络解决大数据的文本分类问题最重要的是解决文本输入表示问题,再利用深度神经网络模型能自动提取深层次特征的能力,去掉繁杂低效的人工特征工程.

词的分布式表示(Distributed Representation)是较早的一种文本输入表示方法,其原理是把词语映射成固定维数的稠密数据向量,即词嵌入(WordEmbedding)或词向量(Wordvector),传统对应的独热编码(One-hotencoding)模型用“0”和“1”来表示词向量空间,其中“1”的位置代表词语在词典中的位置索引.分布式表示的优点是有较好的语义特征表达能力,同时数据形式能够被神经网络高效读取和处理.词嵌入(词向量)近年来能够广泛流行于文本语义建……