基于机器学习的在线评论倾向性分析

支世尧 彭 栋 朱 旭

(南京审计大学信息工程学院,江苏 南京211815)

1 概述

随着社交网络的迅猛发展,互联网上的用户评论和观点激增。这些隐含用户情感倾向的文本在产品推荐、舆情监控以及信息预测等方面具有重要意义,并得到了广泛应用。本次研究以去哪儿网站上南京地区如家和汉庭酒店的客户评论为分析对象,运用朴素贝叶斯方法对评论文本进行倾向性分析研究。

2 倾向性分析

2.1 相关文献

Pang[1]等人于2002 年针对电影评论数据进行倾向性分析,此次试验首次应用机器学习算法。结果表明,基于SVM、NB 等机器学习方法的得出的实验结果要优于大部分基于规则的算法。Ye[2]等人使用了N-gran、NB 以及SVM 三种方法进行了文本分类研究,研究结果表明,当训练集不断增大,NB 的分类效果与其余两种渐趋统一。

2.2 研究思路

研究思路分为以下步骤:先使用爬虫从去哪儿网站爬取所需的评论数据,接着对文本数据进行清洗和预处理,预处理包括中文分词、词性标注、停用词去除等步骤,然后运用朴素贝叶斯方法对处理好的文本进行倾向性分析,最后对分类结果进行LDA 主题挖掘,图1。

图1 研究流程与框架

2.3 实验数据集

数据采集:(1)如家酒店和汉庭酒店在2019 年的“中国连锁酒店品牌规模排行榜”上占据前两名。因此本次实验以去哪儿网作为数据来源,爬取了该网站上南京的如家和汉庭酒店的用户评价。(2)谭松波博士分享的标注了褒贬类别的10000 条中文酒店评论语料。

2.4 文本预处理

数据清洗:去除没有分析价值的文本语料,包括:存在emoji表情符号与乱码文本、存在大量无意义字符的文本、语料太短的无意义文本。……