大数据统计的新思维探讨

闫立红

随着多媒体互联网技术的发展，大数据以其数据信息量大、传递速度快、结构复杂吸引了社会各界的关注。另外近几年大数据行业蓬勃兴起，越来越多的企业开始意识到大数据对于商业活动信息数据的重要性，越来越多的行业也开始注意大数据技术的引进，越来越多的人才也开始将目光投到大数据的身上，希望从中寻找最好的出路。大数据与不同学科的关联发展正在不断地研究发展过程中。本文笔者将从大数据与统计的角度进行新思维的探讨。

一、引言

统计学主要是通过对数据和信息的搜集、整理、分析、描述来达到推测甚至预测所测对象具体情况的学科。统计学再实际工作中应用广泛，其所包含的数据收集方法和统计分析方法再各行各业应用广泛。而大数据作为一种随着互联网和信息系统发展起来的新的信息处理分析方法其中也采用了一定的统计分析方法，但是很明显目前的大数据还缺少更多更加专业的统计分析方法。另外通过大数据可以启发统计工作，再统计工作中注入一定的创新思维，更有利于统计工作的推行。

二、统计思维的演变及其与大数据的关系

统计的第一步就是要进行样本数据的收集，原始的信息收集方法大多数至今仍应用广泛，即通过抽样调查或普查等方法形成样本数据库。收集统计数据的方法事由收集数据的目的和要求确定的之后再按照严格的方法进行数据的收集。而大数据的数据收集是直接从网络上的数据库中获得的，数据库内的信息全面但缺少目的性，且大数据的来源难以追溯。另外大部分数据的样本结构都是结构型的，而大数据的类型大多是半结构、非结构和异构型，这也造成了大数据的数据比较复杂无法进行量化处理，在处理方法上需要进行一定的改进。

在数据收集之后就是数据的分析，以往的数据分析方法大多是采用了“定性——定量——再定性”的方法。通过定性来确定定量分析的方向，最后再通过定量分析的数据，根据相关理论和经验对被测对象进行判断。

在进行关于假设的验证时，在数据分析之后，就要开始验证该假设是否成立。按照“假设——验证”的思路来进行，但是这种方法如果选择指标不当很容易受到假設条件等的限制。而根据样本数据特征推测总体特征的方法也是常见的一种根据数据分析判断被测对象的一种方法。这种方法大多采用“分布理论——概率保证——总体推断”的思路和逻辑，这种方法推断评判的标准和样本没有关系，但是基本样本的质量直接影响着最终的判断结果。

三、统计工作者面对大数据的应对方法

首先统计工作者和研究者应当改变对不确定性的认识。统计学最初出现就是为了研究一些实物发生的不确定性，大多数不确定性出现的原因都是由于个体间的差异造成的，这种差异普遍存在于自然和社会活动中。而要想了解这种情况和分析不确定性就需要收集大量数据进行分析，在这个过程中就容易出现很多不确定性，例如工作中常用的抽样调查法的不确定性就发生在数据收集抽样过程中以及构建模型、推断总体的过程中。大数据虽然也存在个体差异和不确定性，但是大数据的数据大多是全体性的，包含了所有的样本，不确定性相对较小。

另外在大数据不断发展的大趋势下，统计工作者应当紧随时代潮流，将自己的专业和大数据进行结合。虽然目前的数据收集和和数据分析技术已经比较成熟了，但是对于规模较大的样本或者数据时处理起来还是有一定的难度的，这时候就需要现代化的信息技术进行处理。可以通过大数据、云计算等技术的融合和协助来完成。在将大数据和传统统计工作进行融合时需要注意，大数据的信息处理方法难度较大，必须要根据数据特点从数据本身进行切入。

相关工作者在面对大数据的潮流和冲击时必须要提高自己的专业能力和创新意识，接受大数据的挑战，学习掌握运用大数据的能力，充分发挥自身的专业优势，提高核心竞争力。从数据收集和采样抽样开始进行创新，在这样的大数据背景下有些人认为抽样调查可以被取代，然而目前大数据还未普及到各行各业，大数据仅仅能作为一种采样和分析的工具，并不能提供各种的完全数据。充分利用现有的科学技术同时考虑采样的成本和效率。在保证数据信息可靠性的同时充分考虑科学性和目的性，保证采样能够顺利进行。

四、分析数据方法的改进和创新

在大数据时代，数据就是财富，全面完整的数据被收集起来，不仅仅具有初次采集所做的调查分析的价值，数据会在后面的社会活动中被反复以不同的目的使用，其价值不断增加，在日后的各种研究中将不断产生新的价值，在这样的背景下，数据就是财富，掌握了大数据就掌握了信息的主动权。掌握了大量原始信息之后就是对于数据的分析整理。当然目前在大数据的不断发展阶段，数据收集工作还在不断进行当中，努力进行数据库的扩充完善，才能保证后续数据整理分析的顺利进行。接下来我们要对于数据分析的方法创新的方向进行一定分析。

首先，传统统计分析的方法永远是数据分析的基础，大数据推进的改进和创新只是起到提高分析效率和精确度的作用。在此我们要提出几个利用大数据思维和工具进行的分析方法的改进。首先就是在进行分析时数据的重组，有的时候我们需要处理的数据比较复杂，单纯一组数据并不能充分说明问题。此时我们可以进行数据的重组，即将正在休眠的数据通过一个截然不同的新的数据组释放出来，然后将他们进行混合重组，这种混搭应用的思想在当今的互联网时代并不少见。而混搭的方式更加大了数据分析的难度，此时我们必须要借助云计算等计算手段，另外还可以引入相关关系的方法进行数据分析，即通过一个我们选定的关联物来进行分析，这种方法不容易受主观意识和偏见的影响，同时还能提高数据分析的效率和准确度。

五、结语

大数据的浪潮冲击着各行各业的发展，是挑战也是机遇，作为统计工作者或者研究者都应该正视并重视大数据时代的到来，转变自己的传统观念和思维定式，尤其是建立起在互联网时代十分重要的因果关系和相关关系思路。在科技发展的今天，统计的精髓开始由它的分析方法逐渐转变到思维上，使用新思维进行数据的收集分析和处理，就能够及时处理大数据中遇到的问题，利用大数据的优势。推进大数据的发展，而不是在大数据的洪流中被淘汰。（作者单位：河北省塞罕坝机械林场）