侯雪亮,李 新,陈远平
1(中国科学院 计算机网络信息中心,北京 100190)
2(中国科学院大学,北京 100049)
在NLP 领域中,与文本分类算法相关的研究受到了越来越多的关注.文本分类的目的是通过对文本信息的挖掘与处理,来解决信息紊乱的问题,从而能帮助用户更加精准地定位所需信息,并可根据已定的类别集合将其判定为已知的某一类.目前,在新闻推荐、情感评价、邮件分类等领域受到广泛应用.文本分类的特点在于能在文本数据量不明确和复杂的情况下,根据预先确定的类别信息,输出成有价值的信息.
随着machine learning 和deep learning 等研究方法的不断完善,文本分类问题的解决路径也从先前的向量空间模型(VSM)逐步转移至机器学习和深度学习结合的方法上来[1].在深度学习网络中,卷积神经网络CNN 可以识别出文本中预言性的n元语法;卷积结构支持有相似成分的n元语法共同分享其预测行为,即使是在预测的过程中遇见未曾登录过的特定n元语法也是可以的;而层次化CNN 每层则着眼在句子中更长的n元语法,这样模型还可以对非连续的n元语法更加敏感,可以对文本分类的效果产生显著的影响[2].
但是目前的主要研究均集中在长文本和富文本上,对于短文本的研究较少.短文本相比较于长文本和富文本而言,其所含的信息量较少,无法采用统计学观点进行词向量分析,传统的神经网络对短文本的分类效果较差,尤其是对于标签值较少的短文本而言,比如……