基于用户评论大数据挖掘的导向应用系统设计

谢卓亨 邱金波

（广东石油化工学院 电子信息工程学院，广东 茂名 525000）

1 前言

根据最新的数据显示，我国网民规模为8.02亿，互联网普及率达57.7%，截止2018年6月，我国网络购物用户规模达5.69亿。手机网络购物用户规模达到5.57亿，使得网络店铺数量如雨后春笋一般。随之而来的是不断的呈现在网民面前的各大网络商城，如淘宝网、聚美优品、京东商城、易购等，用户选购的时候，面对网络上大量的参齐不齐的评价数据，用户消费者无法直观简洁地获取到该商品的有效 信息。

2 系统的设计方案

本文首先分析电商信誉评价体系特点，了解其评价指标以及每个指标具有的实时性和评分标准，以及产品综合评分的评判指标和评分计算方法。运用python语言的Scrapy框架获取大量的用户评价信息，并存入mysql数据库，再利用自然语言SonwNLP文本情感分析系统，对mysql数据库中的用户评价进行逐句分词处理。随即，运用关联规则挖掘算法找出客户评价中描述产品特性的词汇，并提取出与该产品特性词汇相关联的观点词以及观点词的极性。最后，利用建好的数学模型和算法并用django和pyecharts数据的可视化为消费者提供真实可靠的宝贵信息。

3 各功能模块设计

3.1 数据准备—网络爬虫

首先，根据选定的研究对象，利用Scrapy（Scrapy是一种用于抓取网站和提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘，信息处理或历史存档。）和requests对特定数据进行爬取，然后，对分散的数据按照一定的规则或格式合并，并存入数据库。……