大数据背景下的网络舆情技术分析

王子豪 崔 浩

（中国传媒大学 北京 100026）

移动通信平台和无线网络的迅猛发展，使人们更加经常地通过移动网络获取信息，而作为其副产品的网络舆情也应运而生。互联网空间可以被视为现实社会的虚拟映射，而网络舆情则是社会舆情在互联网上的映射，是社会舆情的另一种表现方式。作为大众思想文化信息的主要集散地的互联网，以其为平台的新型媒体、通讯工具的影响力已形成规模。

舍恩伯格的《大数据时代》中有这样一句话，“大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型。”①大数据背景下改变的还有舆情传播形态等。大舆情亦是大数据，人类运营数据、人类感知数据、人类原创数据。海量的数据使得网络舆情变得可预测其走向和传播模式，更加科学地对舆情进行引导和化解。目前有关突发公共事件网络舆情的研究点主要集中在理论框架内。实践研究中首先暴露出来的第一个问题就是缺乏量化分析的体系，在量化分析之后如何实时将舆情可视化也是应该考虑到的方面。

将大数据移植到舆情应用。当公共事务发生后，网民在浏览、搜索、互动的过程中会随时发表言论信息，这些信息直接呈现了网民的情绪、态度、意见，这些构成了网络舆情的显性和隐性舆情，而网络社区用户彼此之间建立相互关系网络，建立了新的社会群体，带来了新的群体行为，志同道合的人聚到一起，形成了具有影响力的舆情。

一、传统网络舆情的定性研究

网络舆情的定性方法可以为研究提供增量性的成果，但是却并不能将网络舆情的趋势预测达到最高效度。传统的网络舆情的量化研究可以分为涉及数理结构模型、方法和技术，注重对舆情传播过程中的数据统计及分析。在前面学者的努力下，大概形成了一系列体系和模型，种类数不胜数。

二、大数据时代网络舆情的传播形态

首先，传播影响力的加速与扩大。网民们更喜欢选择与自己观点相近的内容，“沉默螺旋”的效果在网络平台有所加强，快速表达意见会加速网络舆情的迅速反应，产生雪崩式一边倒现象。因此，对于大部分网络舆情事件，越早回应越主动。大数据时代要求我们对于网络舆情的收集速度和深度要有所增加，收集的方式要由静态向动态转向。

第二，重视微力量。反馈式的闭环传播会激荡从而扩大某一个事件的传播效果。一个郭美美会引起全国对于红十字会的敌视，这种例子屡见不鲜。大数据分析可以帮助我们了解情况，那些小的情绪会引起未来雪崩式的舆情变化。

第三，大数据更重视相关。小数据注重回归；大数据时代，我们更注重相关。泽字节的数据集，我们关注的是其宏观的关系，而不是对其追根溯源，通过对信息的解构与重构，发现各个因素间的关系，进行舆情管理。

第四，大数据时代使得我们更重视舆情的主导者、人的存在，我们关注于有多少人有这样的意见。对于文字的过分解读，会使得我们忽视多元的社会价值观的冲撞。

第五，显性舆情和隐性舆情。常见的网民对于公共事务发表评论、消息转发等，这些可以呈现网民直接态度的被定义为显性的网络舆情。大数据的到来，使得我们对于隐性的网络舆情进行观测的能力增强，像是服务器会记录浏览的URL等，不是直接对于舆情内容进行反应，却可以告诉我们网民的关注热点是什么。

三、大数据网络舆情的目的与目标

基于大数据背景下的网络舆情分析技术，应有三个主要的功能模块，信息采集模块、数据处理模块、前端应用模块。②根据这三个模块，应具有以下功能：

1.信息采集，可以代替人工搜索，自动发现舆情信息，比如自动对于媒体所发布的新闻内容进行抓取、对于微博的关键词进行抓取；

2.数据处理，自动对所抓取的关键词进行词频统计，当某一些或者某一类词的数量达到一定限度，要对重大的负面舆情信息及时发出预警。除此之外，还应该定性定量相结合的分析舆情信息，帮助舆情管理，判断某一舆情的发展变化趋势；

3.前端应用，能够自动生成舆情报道和数据。数据可视化技术，不但是简简单单地对于数据进行图形化，更是会影响使用者对于舆情的反映速度和处理态度，提高工作效率，帮助决策。

四、大数据网络舆情的技术应用

网络舆情信息与繁杂的大数据有着相似特征，由海量的结构化数据组成，但其中包含更多的非结构化数据。当今互联网已经没有时间再去允许你海底捞针般地对于数据结构化进行处理或者界定，传统的量化方式已经无法满足准确快速地对于舆情进行预警，大数据的分析技术也应运而生。

（一）网络舆情信息的数据抓取

不同于引擎搜索注重的是信息的广度，网络舆情的数据抓取更注重深度和对于转发、评论、搜索等的精确采集。采用专门的抓取器，像是Goseeker、import.io、编程语言Python，将抓取的数据结构化后存储下来。文本挖掘利用网络爬虫技术，在制定的网站、特定的形式进行网络数据收集，以备使用，但是这种做法会影响数据采集和分析的效率以及数据的精度。

（二）构建网络舆情预警模型

蝴蝶效应用在当今互联网空间再合适不过，每一条发布在网络上的信息都有可能引起一场风暴，网络预警模型是整个技术分析过程中关键的组成部分。大数据注重的是对于整体宏观的走势把握和数据的相关关系，但是要对于异常值很敏感，才能及时抓住症结。

（三）自然语言的处理

文本内容的挖掘是对于舆情信息内容最核心的处理，将整句按照词性进行词语划分，经过词频统计和情感分析，很容易便知道大多数网民的态度倾向和关注热点，从而对舆情进行分析和未来走势预测。语义分析是网络舆情定量分析的重要环节，相比直接的采访和访谈，对搜集到的自然语言进行处理，也更为客观和真实。

五、大数据背景下网络舆情分析的局限及发展

（一）数据抓取的限制

大数据分析得以实现的根本是数据可获得，由大众化向分众化转变，就像用户由微博向微信转变。而大数据的抓取却无法向这类信息下手，大数据的舆情分析基于的是用户想公开表达，否则舆情是不可测的。同时，像是微博平台也在出台一系列措施，防止随意抓取数据。

（二）数据云平台

产品社会，将以上技术组成相应的技术组件放在云平台上，可以实时使用，这才是未来技术的发展方向，其组件包括可以抓取数据的爬虫软件、搜索软件、云平台提供的信息储存器等。云平台，将为未来大数据舆情分析提供强大的助力。

（三）数据的安全性

被誉为新时代黄金的数据，其最大价值体现在其二次分析上。二次分析和一次分析，表面上被告知和许可的信息不同，二次分析的结果是未知的，分析之后的结果可能让人出乎意料。大数据时代的信息安全保护，应有所不同。

网络舆情数据获取与话题分析技术，限制着网络舆情分析的质量。网络舆情分析需要广泛的数据来源、长时间的数据积累和成熟的分析技术作为支撑，大数据的诞生会成为当今网络舆情分析新的助力，虽然还有很多限制和问题有待解决，但确实为作为社会科学的学科的舆情增添了一些更为科学的因子。

[1]叶平浩、张李义：《基于知识图谱的网络舆情研究现状分析》，《情报杂志》2013年02期

[2]王青：《网络舆情监测及预警指标体系研究综述》，《情报科学》2011年07期

[3]朱毅华：《网络舆情研究中的仿真方法应用综述》，《情报杂志》2013年01期

注释：

①维克托·迈尔-舍恩伯格、袁杰：《大数据时代》浙江人民出版社2013年1月

②尹培培：《大数据时代的网络舆情分析系统》，《广播电视技术》2013年07期