俸世洲
(重庆师范大学涉外商贸学院,401520)
基于自编码神经网络的文本表示应用研究
俸世洲
(重庆师范大学涉外商贸学院,401520)
本文主要研究高校招生领域Web短文本的表示方法及处理步骤。基于自编码神经网络对输入数据的要求,研究文本预处理的主要技术:中文分词、停用词处理、降维处理,文本向量化表示等技术,并分析了文本表示的处理流程。
高校招生自编码;中文分词;文本表示
随着互联网的发展,留言板、QQ、微信等媒体在招生工作中的应用越来越频繁,积累了越来越多的电子文本数据,如何有效地利用这些大数据资源已经成为招生领域急需解决的问题。为从这些数据资源中挖掘有利于改进招生工作的信息,尝试利用当下最热门的深度学习算法来挖掘文本数据,基于此算法必须找出一个适应其输入的文本表示方法,本文分别从中文分词、停用词处理、降维处理、文本向量化表示等技术入手,分析文本表示的处理流程。
分词处理具体包括了若干步骤,如图1所示:

图1 中文分词处理流程
(1)从留言板后台获取数据库,数据库为MDB格式,只保留留言主题、留言问题及问题回复三个字段,把其余字段去除,这三个字段包含的信息量最大,其中包含了考生咨询的主题、具体细节以及回复人员的解答。通过数据库工具把这三个字段导出到文本编辑工具当中。
(2)利用文本编辑工具如记事本、word或excel,去除HTML代码及多余的符号。由后台数据库导出的数据当中存在很多HTML代码,如:<font color="#cc0000">回复内容</font>,需要手动去除掉,保留纯文本的部份。……