基于大数据的网络舆情分析系统

谌志华

摘 要： 针对互联网数据快速增长和舆情信息飞速传播的问题，提出一种基于大数据的网络舆情分析系统。该系统包括数据采集、预处理、分析和报告汇总四个模块，实现舆情信息的全网自动搜索与采集，大规模舆情数据的格式化存储以及舆情信息的分析、统计汇总等功能。该系统还使用Hadoop平台进行数据处理，并使用HDFS分布式文件系统存储舆情数据，使用MapReduce技术完成舆情分析和报告。仿真结果表明，该系统有助于及時、准确地分析网络舆情，能较好地满足网络舆情分析的需求。

关键词： 大数据； 网络舆情； 舆情分析； Hadoop； HDFS； MapReduce

中图分类号： TN711?34； G206.3 文献标识码： A 文章编号： 1004?373X（2017）24?0015?03

Abstract： In allusion to the rapid growth of Internet data and the rapid spread of public opinion information， a network public opinion analysis system based on big data is proposed. Four modules of data collection， preprocessing， analysis and report aggregation are included in the system to realize the automatic search and collection of the overall network public opinion information， the formatted storage of large?scale public opinion data， and the analysis and statistical summary of public opinion information. In the system， the Hadoop platform is used for data processing， the HDFS distributed file system is used to store public opinion data， and the MapReduce technology is used to complete public opinion analysis and report. The simulation results show that the system can help analyze network public opinion timely and accurately， and meet the requirement of network public opinion analysis well.

Keywords： big data； network public opinion； public opinion analysis； Hadoop； HDFS； MapReduce

0 引 言

目前，我国互联网普及率[1]已超过全球平均水平4.6个百分点，达到54.3%。网民规模占全球网民总数的，达到7.51亿，并有超过70%的网民使用微博、博客等参与话题讨论并发表观点。互联网已逐渐成为热门话题和事件讨论的重要平台以及舆情事件的放大器[2?3]。

网络舆情[4]是指网络媒体或网民使用互联网对热门话题和事件进行讨论，所产生的具有一定倾向性与影响力的言论或意见，通常具有开放性、迅速性、丰富性、互动性和落地性等特点。虽然正面积极的舆情信息具有示范效应并能带来良好的社会影响力，然而消极负面的舆情信息将严重威胁社会的稳定和安全。因此，如何利用并控制网络舆情已成为相关管理部门与政府机关所关注的核心问题。

传统的舆情分析系统由舆情搜索和舆情分析两部分组成，并使用B/S模式将舆情分析系统分为功能层、数据访问层和业务逻辑层三层架构。……