面向大数据的群体性事件网络舆情预警机制研究

胡瑞娟

摘 要： 在大数据背景下，群体性事件网络舆情的分析与应对面临着巨大的挑战，因此，如何在大数据时代构建群体性事件网络舆情预警机制显得尤为紧迫和重要。文章以论坛、微博、博客等具有评论功能的新闻网站为研究对象，对群体性事件网络舆情分析研判，构建网络舆情预警机制，为预防和研判群体性事件的发生提供有益的思路。

关键词： 大数据； 群体性事件； 网络舆情； 预警机制

中图分类號：G647 文献标志码：A 文章编号：1006-8228（2017）05-13-04

Research on early warning mechanism of group event network public opinion

Hu Ruijuan

（PLA University of Foreign Languages， Luoyang， Henan 471003， China）

Abstract： In the background of big data， the analysis and coping of network public opinion of group events are facing great challenges. Therefore， it is very urgent and important to construct the early warning mechanism of group event network public opinion in the era of big data. This paper， taking the forum， micro-blog， blog and the other news website with discussion function as the research object， analyzing the group event network public opinion， builds an early warning mechanism of network public opinion to provide useful ideas for preventing and judging the occurrence of group event.

Key words： big data； group event； network public opinion； early warning mechanism

0 引言

当前，大数据产业日趋活跃，技术演进和应用创新加速发展。截止2016年6月我国网民总数已达7.10亿，手机网民达6.56亿[1]。近年来各类群体性事件的频繁发生，给人民生命财产和经济社会发展造成了重大损失。随着我国网民数量激增和移动智能设备的普及，社交网络等新媒体工具逐渐渗透到人们的生活当中，群体性事件在网上传播的速度越来越快，人们对群体性事件的关注度越来越高。如果各级人民政府不能积极应对和有效适应网络舆情所带来的冲击，不能尽快建立切实可行的群体性事件的网络舆情预警机制，那么潜在的社会舆情就会成为突发性群体性事件出现的催化剂和导火索[2]。

发生群体性事件，相关职能部门如何迅速收集网络舆情信息，跟踪事态变化，及时向有关部门通报，是新形势和新环境下亟待解决的问题。本文以论坛、微博、博客等具有评论功能的新闻网站为研究对象，对群体性事件网络舆情分析研判，构建面向大数据的群体性事件网络舆情预警机制，为预防和研判群体性事件的发生提供有益的思路。

1 大数据与Hadoop平台

IDC公司从四个特征定义大数据，即海量的数据规模（Volume）、快速的数据流转和动态的数据体系（Velocity）、多样的数据模态（Variety）和巨大的数据价值（Value）。根据大数据的生命周期，大数据的技术体系[3]可以分为大数据采集与预处理，大数据存储与管理，大数据计算模式与系统，大数据分析与挖掘，大数据可视化计算，以及大数据隐私安全等方面。我们通常选用Hadoop系统来存储、管理、分析这些数据，以获取更多有价值的信息[4]。

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，以Hadoop分布式文件系统HDFS和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性允许用户将Hadoop部署在低廉的硬件上，形成分布式系统；由于Hadoop拥有可计量、成本低、高效、可信等特点，基于Hadoop的应用已经开始遍布互联网领域。MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下运行应用程序[5]。

2 群体性事件网络舆情预警机制的理论基础

对“群体性事件”的界定目前仍然有争议，但一般是指具有某些共同利益的群体，为了实现某一目标，采取静坐、冲击、游行、集合等方式向党政机关施加压力，出现破坏公私财产、危害人身安全，扰乱社会秩序的事件。网络舆情是由于各种事件的刺激而产生的，通过互联网的传播，人们对于该事件的所有认知、态度、情感和行为倾向的集合。群体性事件网络舆情是指民众以网络为平台，借助网络论坛、博客、电子邮件、网络新闻组等网络工具，围绕即将发生或者已经发生的群体性事件发布信息，并表达出社会政治态度。

⑴ 预警理论是群体性事件网络舆情预警机制构建的基础。预警理论包括信息判断分析、信息搜集、相关应对措施制定、信息传递和信息反馈五个阶段的内容。在整个预警机制的运行过程中，通过信息收集做出正确判断分析，之后进行信息传递，最后完成应急措施的启动。

⑵ 危机管理理论是群体性事件网络舆情预警机制构建的条件。危机管理主要包括危机发生前的防范、危机发生时的化解以及危机消除后的社会政治、经济和文化秩序的逐步恢复，人们的日常生活和工作逐步转入正规。

⑶ 群体性事件的网络舆情预警工作存在的现实问题主要有：一是网络舆情监测不及时，相关的预警监测部门没有一个合理、有效的群体性事件网络舆情定期人工排查制度，没有定期对各大门户网站出现的相关群体性事件的信息进行深入排查，没有在第一时间及时了解网民的思想动态，没有迅速发现网民思想动态后面存在的大量社会隐患；二是网络舆情与群体性事件即时互动、互相强化、交流融合，加之网络舆情预警机制不健全，大大增加了引导与监控网络舆情的難度。

3 面向大数据的群体性事件网络舆情预警机制构建

面向大数据的群体性事件网络舆情预警机制的构建依托爬虫技术对新闻网页、论坛、博客和微博等具有评论功能的网站进行信息采集，利用大数据Hadoop平台、MapReduce编程模型对采集的数据进行预处理及挖掘分析，继而对网络舆情环境予以监控与预警，包括监测、汇集、分析、警报等，从整体上把握群体性事件网络舆情，做到“防范于未然”。在预警机制构建的过程中，预警系统信息的准确性和可靠性对于整个群体性事件的顺利解决起着举足轻重的作用，所以要适时完善和补充预警系统，保证其正常监测和跟踪群体性事件。面向大数据的群体性事件网络舆情预警机制如图1所示。

3.1 群体性事件跟踪监测子系统

群体性事件网络舆情主要表现方式为：BBS论坛、博客、微博、新闻评论、跟帖转帖等，其表达快捷、信息多元化、互动，具有传统媒体无法比拟的优势。网络的开发性和虚拟性决定了网络舆情具有直接性、随意性、突发性和隐蔽性等为主要特征。

跟踪监测子系统是群体性事件网络舆情预警系统的基础，是获取、存储和管理有效网络舆情信息的平台，充当了危机信号的识别器。近年来，群体性事件的出现及其走入平缓大都与网络息息相关，且以网络舆情信息的方式呈现。跟踪监测子系统主要依托网络爬虫技术对论坛、博客、微博等相关网站进行实时、自动监测，获取相关信息。再从海量网络信息中检索、匹配和筛选出针对用户兴趣有用的相关信息，这一过程中，要区分有效信息和虚假信息，过滤虚假舆情信息并对有效信息及主流信息予以整理。

3.2 群体性事件分析子系统

分析子系统是群体性事件网络舆情预警系统的核心，是对所获取信息的再创造的结果。分析子系统是根据舆情监督李与研究的需要，在对相关舆情信息汇集整理的基础上进行深层次的加工和分析研究，把握网络舆情的本质内容，预测其可能的发展方向，从而得出相关的结论。

分析子系统是通过对跟踪监测子系统中的信息仔细筛选，实现准确有效的舆情采集和提取后，从海量信息中找到热点、敏感话题，并对其趋势进行追踪，是警报子系统功能实现的前提。从论坛、微博、博客等网站采集到的数据量是巨大的，而且这些数据中很多都是非结构化数据，非结构化数据使用HDFS存储。对采集的数据进行预处理包括：中文分词、向量空间建模分析、文本分类和聚类以及舆情趋势分析。中文分词采用IKAnalyzer分析器，向量空间模型建模利用TF-IDF（词频-逆向文件频率）向量表示法来表示特征向量，使用K-means算法实现文本聚类，统计舆情信息并进行可视化展示，进行舆情趋势分析。采用MapReduce编程模型[6]，可实现多范围、多角度、多层次数据分析与挖掘，包括文本聚类分析、活跃分析、舆情评测分析、舆情关注等。

分布式文件系统（HDFS）和MapReduce编程模型是Hadoop的主要组成部分。MapReduce模型的计算流程如图2所示。分布式文件系统主要负责各节点上的数据的存储，并实现高吞吐的数据读写。MapReduce计算模型的核心部分是Map和Reduce两个函数[8]。Map的输入是in_key和in_value，指明了Map需要处理的原始数据。Map的输出结果是一组对。系统对Map操作的结果进行归类处理。Reduce的输入是（key，[value1…value m]）。Reduce的工作是将相同key的value值进行归并处理最终形成（key，final_value）的结果，所有的Reduce 结果并在一起就是最终结果。

3.3 群体性事件预警子系统

预警子系统是群体性事件网络舆情预警系统的重点，是基于分析子系统的分析结果，依据特定的预警指标体系，判断该信息警报等级的信息系统。

基于分析子系统的分析结果来评估网络舆情态势，根据威胁估计模型对舆情的态势发展和威胁程度进行定量预测，做出舆情的预警等级报告，并与其他干预系统联动引导舆情朝正面发展。根据不同预警指标，实时预警可分为爆发指标预警、主题敏感度指标预警和负面舆论指标预警。其中爆发指标预警按照轻重程度可以划分为I级（轻度级）、II级（示警级）、III级（危险级）、IV级（极度危险级）和V级（立即爆发级）五个等级。在可视输出上依次采用绿色、蓝色、黄色、橙红色和红色五种颜色来加以表示。最低程度的恐怖警告将用绿色表示，然后依次为蓝色、黄色、橘黄色，最高等级的恐怖警告将用红色表示。

3.4 群体性事件处理子系统

处理子系统是群体性事件网络舆情预警系统的最后一个阶段。对于预警子系统发出的重要信息，必须依靠传送渠道迅速传递。群体性事件的应急结束后，仍需进行恢复和重建工作。

群体性事件网络舆情预警系统的四个子系统相辅相成、不可分割，子系统功能的实现及良好运行承载着群体性网络舆情预警的实现。通过跟踪监测子系统，挖掘出某一群体性事件舆情信息；通过分析子系统，分析其形成的网络舆情的安全程度、公民的参与程度、未来发展态势等；预警子系统依照其敏感程度与参与程度进行预警报备等级；处理子系统发挥其功能，引导舆情，防控群体性事件的发生，从而确保社会的稳定。

2016年上半年引起网络舆论较大反应的群体性事件有e租宝非法集资案、高考减招、出租车网约车、劳资纠纷等。针对各类群体性事件网络舆情应建立有效的应对策略：首先，正确认识网络舆情给人们所造成的危机，通过正确的方式对网络舆情展开教育学习；其次，由于网络舆情发展扩散非常迅速，所以在解决问题时要积极快速，充分利用正面力量；第三，要关注网民的心态，注重用专业网络团队和网民沟通交流。

4 结束语

面向大数据的群体性事件网络舆情预警机制的构建，一方面，可以在很大程度上减少群体性事件的发生，对于有效和快速解决群体性事件所带来的危害，有着重要的推动作用；另一方面，通过对群体性事件的网络舆情的相关信息的收集和分析，进一步有效应对和妥善处置发生的各类群体性事件，为政府开展预警工作提供一个可供借鉴和实施的方案，而且为社会主义和谐社会的构建，创造一个良好的氛围和环境。

参考文献（References）：

[1] 第38次《中国互联网发展状况统计报告》.CNNIC（中国互联网络信息中心），2016.7.

[2] Maclennan B，Kypri K，Langley J， et al.Public Sentiment Towards Alcohol and Local Government Alcohol policies in New Zealand[J]. International Journal of Drug Policy，2014.23（1）：45-53

[3] 计算机学会大数据专家委员会.中国大数据技术与产业发展白皮书，2013：45

[4] J.Allan. Topic detection and tracking： event-basedinformation organization[M]. Norwell， MA，USA： Kluwer Academic Publishers，2002.

[5] 夏火松，甄化春.大數据环境下舆情分析与决策支持研究文献综述[J].情报杂志，2015.34（2）：1-6

[6] 李建江，崔健，王聃等.Map/Reduce并行编程模型研究综述[J].电子学报，2013.39（11）：2635-2642

[7] 王来华.政府如何应对舆情危机[J].决策，2007.7.

[8] 张丽江.网络舆情的宏观影响初探[J].社会科学，2010.

[9] 许鑫.网络舆情指标体系设计与分析[J].情报科学，2009.7.

[10] 曾润喜，徐晓林.网络舆情突发事件预警系统、指标与机制[J].情报杂志，2009.11：52-55

[11] 宋燕金.网络舆论与思想政治教育人文环境的优化[J].时代教育，2012.9.

[12] 祝华新.当前我国网络舆论载体和传播方式的新变化[J].理论导报，2012.1.

[13] 赫英杰.论新时期高校网络舆情引导的技术构建机制[J].高校舆情研究，2010.

[14] 杨羽飞.基于Mapreduce的大规模中文短文本聚类算法的设计与实现[D].兰州理工大学，2014：20-21