基于机器学习的UGC数据分析模型及应用实践

王涛， 周艺雯

(同济大学浙江学院 电子与信息工程系, 浙江 嘉兴 314000)

0 引言

科技技术的快速发展以及市场的快速扩张，使得企业间竞争愈发猛烈。以往，人们依靠路边发传单、电视放广告等作为营销策略，现如今，企业营销策略不断改进，精准营销依靠分析受众特征，优化产品策略赢得企业经营者的青睐。UGC(User Generated Content)在线评论，是新媒体平台人们对商品数据的反馈心得。在线评论能反映用户对当前购买商品质量的态度[1]。电商评论网页上，购买过产品的消费者对产品进行评价，这些评价对产品口碑起决定性作用。在产品服务的过程中，用户不仅仅是接受者，也是产品消费过程中的信息提供者。作为商品的销售方，如何分析用户产生的数据，例如用户对产品的评论数据等，在此基础上，商家可以修正不足，改进服务，提升用户满意度。故而，基于在线评论的文本挖掘吻合供需双方需求，受到越来越多用户的青睐。本文通过采集分析携程网民宿数据，建立基于UGC数据分析模型。数据模型分为爬虫模块和分析模块。爬虫模块采集房源数据和对应评论数据，分析模块负责对评论数据集的数据清洗、分词、特征提取、贝叶斯分类和情感分析。

1 爬虫模块

网络爬虫向目标网站发送请求的过程是爬虫程序模拟浏览器发送请求的过程[2]。发送http请求过程[3]如下。

(1) 浏览器发送Request请求，获取目标网址中的html文件数据代码，服务器把Response发送给浏览器；

(2) 浏览器解析收到的数据，引用JS、CSS、Images源文件，浏览器再次发送请求，获取过程中这些代码用到的文件，完成渲染；……