李翔 柴志菲


摘要:情感分类是NLP应用的一个分支,在舆情控制,评价预测以及推荐方面都有重要应用。目前常用的情感分类方法有K近邻算法、朴素贝叶斯分类、支持向量机、决策树等。本文提出采用随机森林进行情感分类的研究,采取随机森林作为分类模型,文本评论的句向量作为模型输入,在15万条的评论数据上训练,取得了不错的预测结果。由于随机森林算法方便并行化,该方案,极其容易部属到集群中,进行后续的工程化应用。
关键词:word2vec;随机森林;情感分类
在当代互联网形式复杂的各种数字信息中,文本信息占据着重要的作用。文本自古以来文本就扮演着传承人类智慧结晶的角色,是最重要的知识来源。
情感分类目前在知识发现、数字图书等领域扮演着不可或缺的重要角色。目前常用的情感分类方法有K近邻算法、朴素贝叶斯分类、支持向量机、决策树等,另一种比较常用的方法是集成分类算法,这种方法通过构建并结合多个基分类器来完成分类的任务,其中在情感分类中比较广泛应用的是Breiman在2001年提出的随机森林算法[1],并且其具有良好的分类性能、容易并行化、不易过拟合、构建过程中无偏估计泛化误差等优点,因此对随机森林在情感分类问题中的研究和应用有着重要的意义。
1.数据集
我们从新浪微博爬取781224条评论数据,并对其批量打了标签,经过数据分析,我们发现数据集中包含很多杂乱信息,需要对应清洗,其中包括超链接部分,特殊字符部分,英文单和数字的处理,以及对应长度的考虑。……