彭庆喜 张力 张瑞志
【摘 要】本文利用Java结合开源机器学习工具Weka设计与实现了一个轻量级评论抽取原型系统L-RES。首先设计了一个爬行子系统,将评论从网站爬取下来,然后对网页进行解析以及结构化。进一步,采用机器学习方法挖掘评论中的情感信息。最后将原型系统封装撑API供开发者是使用。实验证明该框架非常有效。
【关键词】L-RES;评论;抽取;Weka
1 引言
随着互联网的发展,电子商务更广泛的被使用。同时,产品评论越来越引起人们的关注。据调查,在电子购物网站上,当产品的评分从4.5到5.0分(满分5分),可以为用户带来25%的产品销量增长[1]。因此产品评论网站如Yelp,Resellerratings,Tripadvisor,中国的点评网(Dianping.com)等越来越多。然而,产品评论网站中的评论信息数量巨大,内容庞杂,用户很难从中获取自己感兴趣的信息。本文设计与实现了一个Web评论抽取系统Lightweight Review Extraction System(L-RES),通过爬虫将Web评论抽取下来。进一步的从,采用机器学习方法对评论按照情感进行分类。最后的结果设计成API供开发者调用。
2 L-RES抽取子系统设计
本文设计的抽取系统主要由以下模块组成:(1)网页爬行模块;(2)网页解析模块。
2.1 网页爬行模块
为了获取网页,爬虫必须像一个web客户端那样进行工作。它首先向服务器发送一个http请求,并读取返回的响应。如果读取到的http状态码为200,则表示本次请求成功,并建立了一个连接。为了让爬虫系统能够正常且自动的爬取特定的网页,必须首先建立一个种子URL,作为爬虫抓取网页的入口。当连接建立之后,爬虫会获取到连接到的网页,并提取特定的网页链接加入到URL队列,然后保存连接到的网页文件到相应的文件系统,进入到下一次爬取和链接抽取的状态,直到目标URL全部抓取完成。……