浅析网络大数据带来的挑战

张意

[摘 要]近几年，网络大数据越来越显示出巨大的影响作用，面对类型繁多的结构化、半结构化、非结构化的海量数据，如何去粗存精、去冗存真是大数据分析面临的挑战。为此，分析了网络大数据的复杂性、不确定性、涌现性，对网络数据的搜集、分析和挖掘有一定的借鉴意义。

[关键词]大数据；复杂性；不确定性；涌现性；挑战

中图分类号：TP372 文献标识码：A 文章编号：1009-914X（2018）14-0374-01

前言：

继物联网，数据挖掘等名词已经广泛应用于各行各业，深入到人们的生活中之后，大数据也已经悄然来到我们的身边，准备掀起下一个信息革命的浪潮。大数据的来临带来了一场生活、工作与思维的大变革，涉及到公共卫生、商业、思维等相关领域的革命。网络大数据越来越显示出巨大的影响作用，正在改变着人们的工作与生活，加强对大数据研究具有重要意义。

1 网络大数据的复杂性

复杂性造成网络大数据存储、分析、挖掘等多个环节的困难.网络大数据的复杂性主要包括数据类型的复杂性、数据结构的复杂性和数据内在模式的复杂性。

1.1 数据类型复杂性

信息技术的发展使得数据产生的途径不断增加，数据类型持续增多.相应地，则需要开发新的数据采集、存储与处理技术。例如社交网络的兴起，使得微博、SNS个人状态信息等短文本数据逐渐成为互联网上的主要信息传播媒介.与传统的长文本不同，短文本由于长度短，上下文信息和统计信息很少，给传统的文本挖掘（如检索、主题发现、语义和情感分析等）带来很大的困难。……