大数据时代市场调查数据分析教学的改革

王士香

摘 要： 互联网和传统行业的结合为各领域发展带来了新的机遇和挑战，也促成了大数据时代的到来。大数据改变了市场调查获得数据的方式和内容，因此高校市场调查数据分析课程的教学必须做出积极的应对。本文研究市场调查课程中数据分析教学应对大数据应该进行的教学内容和数据分析方法的调整和加强，探讨如何在传统数据分析的基础上对教学设计和教学进行改革。

关键词： 大数据 数据分析 教学改革

市场调查数据分析是根据市场调查的目的和获得的数据种类及特征，研究变量和数据间关系和规律的方法。数据分析方法的选择决定于数据的种类和分析目的，为分析目的服务。在传统市场调查中，数据分析方法的选择相对固定，尽管随着统计学和计量经济学等学科发展，数据分析方法层出不穷，但是鉴于获得数据类型和特征，能够应用于市场调查分析的数据分析和处理的方法要小于统计和计量分析模型。大数据时代的到来使市场调查可获得的数据在数量、规模、结构和速度方面都产生根本变化，这对市场调查数据分析教学提出新的挑战和要求，本文探讨市场调查数据分析教学应对大数据到来应进行的变革与调整。

一、传统市场调查课程数据分析教学

1879年美国农业机械生产商委托广告代理商艾尔公司调查农业生产信息和相关天气、土壤信息等，估计农业机械设备的需求，这是有记载的第一次市场调查活动。市场调查活动的出现，数据分析必然应运而生。市场调查类课程在高校的统计学院和商学院的市场营销专业都是必修课程，数据分析是市场调查课程中必不可少的一部分教学内容。

（一）传统市场调查课程数据分析的教学目的

传统市场调查建立在抽样理论上，数据分析方法是以推断统计为主要分析工具。通过推断统计相关的方法，利用调查中获得的有效数据，对总体特征进行推断和描述。在市场调查课程中，数据分析的教学目的在于帮助学生了解研究对象的基本情况，并根据具有代表性的调查数据了解研究现象之间和因素之间的数量关系，通过描述统计及推断统计的方法对研究总体进行推断和研究。

（二）传统市场调查课程分析方法

传统市场调查分析方法中，很重要的一部分是描述统计的内容，主要是通过表格和图表展示调查数据，其中主要包括频数分布表、条形图、直方图、饼图、语义差别量表等。在对单变量进行描述的时候，可以分别计算数据集中趋势测度指标，比如众数、平均数、中位数等，以及离散趋势指标，如标准差、四分位差和变异系数等。在多变量描述中，列联表有很重要的应用。传统市场调查主要的調查方法为观察法、询问法和实验法。其中最主要和最常用的访问为询问法。询问法主要的调查工具为问卷，通过问卷获得的数据基本为结构化数据，因此使用常规方法可以对通过问卷调查获得的数据进行很好的展示和说明。因此，使用传统图表展示调查数据是市场调查很实用的方法。描述统计的一个重要目的是研究样本结构，确定样本的代表性。一个具有较高代表性的样本，通过描述统计展示的样本结构和规律，大概率上代表总体的结构和规律，因此样本的代表性是决定调查准确性和可靠性的重要保障，调查方案和抽样设计是市场调查的重中之重，调查数据的质量和准确性对调查质量具有重要影响，是决定市场调查质量的一个重要因素。

推断统计是建立在概率论与数据统计基础上的分析方法，只要样本具有随机性，能够很好地代表总体，推断统计方法就可以很好地对研究总体进行估计和预测。如果在问卷设计的时候设定好变量类型，预估将会使用到的数据分析方法，推断统计方法完全可以被用来推断总体，得到可靠的分析结果。最常用的数据分析方法主要包括区间估计、假设检验、方差分析、相关分析、回归分析等。当调查的问题较多，数据类型同时包括定性和定量数据时，可以使用非参数估计方法、逻辑回归、因子分析，聚类分析等方法对问卷数据进行分析。而且传统市场调查中采用在心理学和社会调查中常用结构方程模型对市场调查数据进行分析，体现了市场调查活动的兼容性及各学科，各领域发展高度融合的趋势。这些推断统计的方法，基本上还是建立在统计学分析的基础上，当获得的数据是用传统市场调查活动获得的，数据分析方法依旧在传统统计学，计算机发展的轨道上缓慢发展和进步。

二、大数据时代市场调查数据分析教学

大数据时代的到来，对传统的市场调查活动产生了重要的影响。市场调查重要的目的是获得调查数据，当数据发生本质变化后，数据分析方法必然随之改变。促使高校的市场调查课程在各个环节都进行相应的改革和应对，市场调查数据分析教学的改革势在必行。

（一）大数据时代市场调查数据分析教学思想的变革

计算机、网络和数据存储等技术的发展，使通常只获得样本数据的市场调查能够获得规模，范围都远大于从前的数据，也就是现在耳熟能详的“大数据”。大数据时代改变了世界诸多领域，同样要求数据分析教学进行积极的改变。首先教师要处理好获得大数据后样本与总体认识。大数据时代我们可以获得同一时刻同一对象几乎所有的数据，也就是总体的概念，同时是我们获得的数据样本。当今，我们获得的数据是样本和总体的对立统一，不再有数据收集能力的限制。其次是教师要对大数据的质量具有深刻的认知。传统市场调查中，经过科学严谨的问卷设计、抽样设计，市场调查获得数据质量较高，完整性和准确性是小规模数据的优势，可以较好地用于研究和推断总体。但是在大数据时代，由于规模比较大，包含的信息较多，来源渠道较多，不可避免地会对数据的精确性产生影响，但是和大数据所包含的信息和作用相比，大数据的精确性不会影响其使用价值，与常规市场调查数据相比，更加有利于了解研究对象的特征，多层次更全面地反映总体的真实状况。再次，传统市场调查数据分析的目的是研究变量间的数量关系或者因果关系，探寻目标变量的影响因素。但是在使用传统数据分析方法的时候，各种分析方法的使用前提是对总体进行某些假设，并在假设的基础上进行分析和研究，比如经常假设变量间存在的线性关系，进行回归分析，谈论变量间因果关系影响。然而，大数据时代是一个数据“速食”年代，数据量不断发展，不断增加，川流不息，变量间的因果关系可能即刻建立也能即刻消失，大数据分析的一个重要特征就是重相关，轻因果，大数据的特征决定了发现数据、变量、现象间的相关关系是大数据的重要目的，也是直接特征。大数据的规模大，数据结构复杂很难简单或者直接地寻找到现象间确切关系，建立起明晰的函数或模型。大数据时代处理好相关关系和因果关系的辩证，是对调查数据进行数据分析教学的一个重要前提。

（二）大数据时代市场调查数据分析教学内容改革

当前大数据时代刚刚到来，各高校的市场调查课程并没有开展大规模的教学内容调整，尽管一些高校现都开设了大数据或是数据工程专业，但是对大数据专业人才该如何培养还处在探索和尝试阶段。大数据作为一个单独的专业，和统计、计算机、网络等专业相互融合，因此，市场调查课程中数据分析教学内容同样需要兼收并蓄。在数据分析课程大纲的设计时，传统的数据分析方法是必不可少的，这些内容有利于学生了解数据分析的基本思维和训练学生的逻辑思维能力。同时，要适当增加大数据产生和获得技术教学内容，让学生了解大数据如何产生、存储这些知识，有利于学生后续的分析。针对结构化的传统数据，数据分析方法的研究相对丰富，但是大数据在数据结构上，多为非结构化，也可能是半结构化的，这些都为大数据的分析产生新的挑战。尽管在市场调查中不存在研究如何对数据进行存储，但是要对数据结构具有深刻的了解，因为了解数据特征、数据结构，不论是对传统数据分析还是大数据分析，都是分析之前的必备工作，因此要适当增加数据结构相关内容。在传统市场调查中，数据筛选是数据分析之前数据预处理的内容，但是由于数据量比较小，并不占有很大比重的工作。但是出现大数据之后，由于数据规模比较大，数据质量相对较低，数据筛选或者数据的清洗反而成为一项非常耗费时间和在分析之前占有重要工作量的步骤。大数据分析，很多时候是一项由厚变薄的过程，这就是指数据清洗。例如从网站上爬取的评价和图片可能很多都是无用或是没有价值的数据，在清洗时可能要去除90%，数据清洗是数据分析前一项重要的过程，在数据分析教学改革中要對数据清洗技术相关内容予以重视，并增加合适的教学内容。

（三）大数据时代市场调查新增数据分析软件介绍

数据分析方法的实现都需要建立在数据分析软件的基础上，统计或计量数据分析常用软件包括Excel，Eviews，Spss，SAS，R Stata，还有在做结构方程研究的Amos等。这些统计分析软件都可以用来分析市场调查数据，如果说处理数值型大数据的话，这些常用的软件可以实现。但是如果处理的非数值型，比如文本，甚至是图片、音频、视频等数据的话，需要更加专业的软件。当前大数据的分析，数据来源主要是网络数据，包括自媒体数据，人和计算机交互数据，以及机器观察和记录数据等，怎样管理和存储这些数据并不是市场调研研究范围，市场调研涉及的是如何获取这些数据，对于收费数据，可以从网络运营商或者数据所有者购买，对于网络公共数据，通过相关软件进行爬取，如Pathon等，还有些市场调查软件自带大数据库，供学生分析研究。针对本科学生的程度，简单的数据挖掘技术比较适用。相关软件包括R、SAS，Weka等。数据可视化的软件也大批涌现，比如制作简单的词云图，很多软件都可以实现，应该增加到市场调查数据分析课程教学中，常用软件如Tagul、图越等。

三、结语

市场调查是一门实践性较强的课程，其中数据分析更是与其他学科联系紧密。在大数据时代，数据分析教学设计，教学内容需要进行改革，在保留传统数据分析内容的基础上增加大数据结构、大数据获取、数据可视化和数据挖掘的相关内容，为更好地使用软件分析大数据、研究和分析社会现象、了解消费者行为、更好地服务企业、个人、社会，培养适应大数据时代发展的综合人才。

参考文献：

[1]朱建平，章贵军，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014，31（02）：10-19.

[2]大数据时代统计学的重构与创新——首届“大数据与应用统计国际会议”述评[J].统计研究，2015，32（02）：3-9.

[3]耿直.大数据时代统计学面临的机遇与挑战[J].统计研究，2014，31（01）：5-9.

[4]邱东.大数据时代对统计学的挑战[J].统计研究，2014，31（01）：16-22.

[5]赵国栋，易欢欢，糜万军，鄂维南.大数据时代的历史机遇——产业变革与数据科学[M].北京：清华大学出版社，2013.