基于随机森林模型的情感分类的研究

2020-09-10 12:23:47李翔柴志菲
商业2.0-市场与监管 2020年7期

李翔 柴志菲

摘要:情感分类是NLP应用的一个分支,在舆情控制,评价预测以及推荐方面都有重要应用。目前常用的情感分类方法有K近邻算法、朴素贝叶斯分类、支持向量机、决策树等。本文提出采用随机森林进行情感分类的研究,采取随机森林作为分类模型,文本评论的句向量作为模型输入,在15万条的评论数据上训练,取得了不错的预测结果。由于随机森林算法方便并行化,该方案,极其容易部属到集群中,进行后续的工程化应用。

关键词:word2vec;随机森林;情感分类

在当代互联网形式复杂的各种数字信息中,文本信息占据着重要的作用。文本自古以来文本就扮演着传承人类智慧结晶的角色,是最重要的知识来源。

情感分类目前在知识发现、数字图书等领域扮演着不可或缺的重要角色。目前常用的情感分类方法有K近邻算法、朴素贝叶斯分类、支持向量机、决策树等,另一种比较常用的方法是集成分类算法,这种方法通过构建并结合多个基分类器来完成分类的任务,其中在情感分类中比较广泛应用的是Breiman在2001年提出的随机森林算法[1],并且其具有良好的分类性能、容易并行化、不易过拟合、构建过程中无偏估计泛化误差等优点,因此对随机森林在情感分类问题中的研究和应用有着重要的意义。

1.数据集

我们从新浪微博爬取781224条评论数据,并对其批量打了标签,经过数据分析,我们发现数据集中包含很多杂乱信息,需要对应清洗,其中包括超链接部分,特殊字符部分,英文单和数字的处理,以及对应长度的考虑。……

登录APP查看全文