迈向大数据时代

王丽

互联网上，每天新浪微博用户发博量超过1亿条，百度大约要处理数十亿次搜索请求，淘宝网站的交易达数千万笔……我们每个人都越来越熟练地使用着这些工具，享受着它们带来的便利。这一切的背后，不仅不断地产生着新的数据，更离不开大数据的支撑。

11月18日，在郑州召开的河南省“互联网+”，开放合作大会盛况空前，超850亿元投资项目在会上签约，地处中部的河南省加快打造网络经济大省。在大会期间召开的城市论坛上，城市管理者和互联网企业大咖畅谈唤醒“沉睡”的数据，以期通过项目让城市更智能。

就在此次大会的两天前，11月16日，贵州省人民政府在深圳市组织了“2015云上贵州·数据资源招商推介活动”，贵州省经信委相关负责人表示，大数据产业在贵州遍地开花，已经成为了这个一度“欠发达、欠开发”的省份弯道取直、后发赶超的重要支撑。贵州向参会的所有高新企业发出数据招商的邀请，显示出打造中国南方绿色数据基地的决心。

大数据，就这样虽然悄无声息但迅速地占领了我们的生活，影响着政府的决策。

大数据浪潮

今天，“大数据时代”的气息已经扑面而来——美国互联网数据中心的调查显示，全球互联网上的数据每年增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

大数据并不是一个新概念，但大数据时代却是伴随着近年来信息爆炸式增长而来。

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2D09年开始，“大数据”才成为互联网信息技术行业的流行词汇。按照世界经济论坛报告的看法，“大数据为新财富，价值堪比石油”。“大数据之父”维克托曾预测，“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题”。阿里巴巴集团创始人马云说：“未来的世界是数据的世界。”

到目前为止，全球对“大数据”的定义并没有达成一致公认的程度。例如，维基百科提出“大数据”是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。这种定义对于实际应用而言几乎没有意义。企业界通常是将自己可利用到的海量数据视为大数据。政府部门认为自身数据很多，整合后的政府数据资源就是“大数据”。

我国政府《促进大数据发展行动纲要》对大数据进行了相对科学精确的解释：“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”

国际数据公司定义了大数据的四大特征：海量的数据规模（vast）、快速的数据流转和动态的数据体系（velocity）、多样的数据类型（varlety）和巨大的数据价值（value）。

海量到底有多大？有资料显示，全球IP流量达到1EB（即10亿GB或1000PB）所需的时间，在2001年需要1年，到2016年则仅需半天，即半天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。

就像电力技术的应用不仅仅是发电、输电那么简单，而是引发了整个生产模式的变革一样，基于互联网技术而发展起来的大数据应用，将会对人们的生产过程和商品交换过程产生颠覆性影响。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，就在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

世界著名商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”经过大量实际调查和分析，他们发现了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。这成为大数据技术应用的—个经典案例。

中国最大的电子商务公司阿里巴巴推出的阿里信用贷款也是大数据应用的成功案例。他们根据在淘宝网上中小企业的交易状况，借助大数据技术自动分析筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款，全程不会出现人工干预。截至目前，阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。

在全美范围内，以纽约市为首的警方部门也正在使用计算机化的地图以及对历史性逮捕模式、发薪日、体育项目、降雨天气和假日等变量进行分析，从而试图对最可能发生罪案的“热点”地区作出预测，并预先在这些地区部署警力。

在金融领域，华尔街“德温特资本市场”公司分析3。4亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。

在医疗保健领域，谷歌就曾通过分析用户的搜索关键词，预测出了2009年禽流感在美国本土的严重程度以及未来的流行趋势，成功帮助卫生部门抑制住了疾病的大规模爆发。

联合国已经推出了名为“全球脉动”的新项目，希望利用大数据来促进全球经济发展。联合国将进行所谓的“情绪分析”，使用自然语言解密软件来对社交网站和文本消息中的信息作出分析，用来帮助预测某个规定地区的失业率、支出削减或是疾病爆发等现象，其目标在于利用数字化的早期预警信号来提前指导援助项目，以阻止某个地区重新陷入贫困等困境。

大数据正在影响着每个领域。举例来说，在商业、经济及其他领域中，决策行为将日益基于数据和分析而作出，而并非基于经验和直觉；而在公共卫生、经济发展和经济预测等领域中，大数据的预见能力也已经崭露头角。在未来一段时间内，大数据将成为提升机构和公司竞争力的有力武器。从某一层面来讲，企业与企业的竞争已经演变为数据的竞争，工业时代引以自豪的厂房与流水线，变成信息时代的服务器。阿里巴巴集团的服务器多达上万台，而谷歌的服务器超过了50万台。重视数据资源的搜集、挖掘、分享与利用，成为当务之急。

大数据时代的到来，让“数据驱动”成为新的全球大趋势。国家竞争战略正从对资本、土地、人口、资源、能源的争夺转向对大数据的争夺，大数据颠覆性地改变经济形态、国际安全态势、国家治理和资源配置模式，引发了巨大的经济社会变革。

政府与大数据

大数据不仅是一场技术革命，一场经济变革，也是一场国家治理的变革。牛津大学教授维克托·迈尔·舍恩伯格在其著作《大数据时代》中说：“大数据是人们获得新的认知、创造新的价值的源泉，还是改变市场、组织机构，以及政府与公民关系的方法。”

大数据时代，互联网是政府施政的新平台。单纯依靠政府管理和保护数据的做法会使政府在面对大规模而复杂的数据时应接不暇、不堪重负。而通过电子政务系统，可以实现在线服务，做到权力运作有序、有效、“留痕”，促进政府与民众的沟通互联，提高政府应对各类事件和问题的智能化水平。“十三五”规划建议指出：“运用大数据技术，提高经济运行信息及时性和准确性。”

大数据正有力地推动着国家治理体系和治理能力走向现代化，正日益成为社会管理的驱动力、政府治理的“幕僚高参”。

具体说来，大数据能高效处理瞬息万变的海量信息，有效破解转型中的社会难题。比如，马云利用淘宝网的海量数据早半年成功地预测到了金融危机。大数据不仅可以提高宏观经济预测的准确性，能及时处理和分析海量交通信息，及时转化成出行指南，缓解交通拥堵，还能及时处理瞬息万变的空气质量变化情况，准确判断污染源。例如位于亚特兰大的通用电气能源监测和诊断中心，每周全天24小时实时收集全球50多个国家约1550台燃气轮机的数据。

大数据催生新产业，带来经济增长新空间。随着大数据在商业企业、政府公共事业、国防军事等领域应用，大数据日益形成一个新产业。围绕产业链上下游，大数据必将带动智能终端的普及应用，物联网、云计算等产业的蓬勃发展，高性能服务器产业的发展和信息技术服务业等产业的发展。据统计，2010～2015年全球大数据市场年均复合增长超过50%。全球著名信息技术研究和咨询公司高德纳公司发布报告预测，到2016年，大数据对全球IT开支的直接或间接推动预计将达到2320亿美元。

大数据能有效减少社会运行成本，提高经济与社会运行效率。医疗卫生行业，能够利用大数据避免过度治疗、减少错误治疗和重复治疗，从而降低系统成本、提高工作效率，改进和提升治疗质量。麦肯锡报告估计美国医疗行业每年通过数据获得的潜在价值超过3000亿美元，能够使得美国医疗卫生支出降低超过8%。公共管理领域，能够利用大数据有效推动税收工作开展，提高教育部门和就业部门的服务效率；零售业领域，通过在供应链和业务方面使用大数据，能够改善和提高整个行业的效率，充分利用大数据的零售商有可能将其经营利润提高60%以上。

大数据推动政府开放，提高公共决策的预见性和响应性。为了响应大数据战略，政府开展逐步公开已有数据，如美国推出了政府数据在线网站，英国推出了政府数据公开网站，数据开放推动政府不断开放。大数据能够帮助政府部门提高公共政策制定的效率，通过利用大数据实现政府行政管理方面的运作效率提高，估计欧洲发达经济体可以节省开支超过1000亿欧元。

鉴于大数据潜在的巨大影响，很多国家或国际组织都将大数据视作战略资源，并将大数据提升为国家战略。2012年3月，美国奥巴马政府宣布了“大数据研发计划”，并设立了2亿美元的启动资金，希望增强海量数据收集、分析萃取能力，认为这事关美国的国家安全和未来竞争力。迄今为止，美国在大数据方面实施了三轮政策，开放了50多个门类的政府数据，确保商业创新。欧盟正在力推《数据价值链战略计划》，为320万人增加就业机会。日本积极谋划利用大数据改造国家治理体系，对冲经济下行风险。截至2014年4月，全球已有63个国家制定了开放政府数据计划，数据开放推动政府从“权威治理”向“数据治理”转变。

总之，“神奇”的大数据可以帮助政府更好地了解公众在想什么，需求什么，通过为社会公众提供更好的服务，从而实现透明的政府、智慧的政府和负责任的政府。

事实上，中国的大数据建设已经在路上。2014年，《政府工作报告》指出要设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展。今年9月5日国务院印发《促进大数据发展行动纲要》、10月底闭幕的十八届五中全会提出要实施“国家大数据战略”，更是开启了大数据建设的新篇章。

据了解，贵州、陕西、上海、重庆、南京等省市也纷纷出台了相应的大数据发展规划，广东还为此专门成立了大数据局。国内已经有北京、上海、广州和青岛等城市率先启动了政府数据开放工作，并取得了良好成效。

“数谷”是贵阳这座发展相对落后的西部山城的新名片，2014年贵阳在大数据产业的带动下实现地区生产总值2497.27亿元、增长13.9%。今年7月19日，首个国家级旅游数据中心落户贵州联通大数据中心，10月10日，贵州联通大数据中心以国家旅游局数据中心为依托，整合贵州省旅游局基础数据，正式对外发布了“贵州旅游大数据指数”。旅游大数据指数是对景区等级指数、适游季节指数、适游天气指数、景区饱和指数、交通拥堵指数、网上关注指数、客流来源指数和消费能力指数等8个指数进行分析计算而来，游客可以参考指数进行出行规划。

浙江省诸暨市教育局通过东软集团大数据管理平台，对教育资源实现科学有效管理。东软集团基础软件事业部咨询总监毛军介绍说：“通过这个云数据管理平台，我们可以完整的、综合性的把云数据中心的所有资源，在一个门户里面去监管起来，通过我们这个云数据管理平台，教育局构建了一个私有云，将幼儿园和学校通过这个私有云来接入访问，给百姓带来教育的快捷性。”

北京大学数字中国研究院副院长曹和平认为，发展大数据会给国民经济带来多层面的利好，从而普惠普通老百姓，一是当孤岛性质的存在不同领域的数据连成一片的时候，如果有一个终端能够接触到整体数据的时候，你就好像到了一个信息超市里面去，没有你找不到的只有你想不到的。二是对于那些创新型企业，起初的孵化器时期的那些企业最有帮助，这恐怕是我们从后工业社会，进入到信息社会里面，在日常生活中和经济运行中得到的利好，而这个利好，可能会给国民经济带来一份意想不到的红利。

中国国际经济交流中心副研究员张茉楠撰文指出，中国需要加快形成大数据国家战略。着力规划“大数据战略”中长期路线图与实施重点、目标、路径，统筹布局，加快大数据发展核心技术研发，推进大数据开放、共享以及安全方面的相关立法与标准制定，抢占新全球科技革命和产业革命战略机遇期，重构国家综合竞争优势已经迫在眉睫。

挑战与启示

“一个富于创造力却又充斥着巨大破坏力的大数据时代已经来临。”凤凰卫视董事局主席刘长乐如是说。

以FacebOOk为例，全球10亿人在同一个社交网络留下活动信息和线索，而这全部被一家公司掌握，在刘长乐看来，这就好比把全世界的鸡蛋放到一个并不结实的篮子里，一旦篮子毁了，海量数据带来的风险和次生灾害难以预料。

新闻集团全球资深副总裁高群耀博士也觉得自己成了实实在在的透明人。他笑道，社交网把人际关系数据化，微博把情绪数据化，职业设计网把过去经历数据化。“简而言之，微信知道你在干啥，百度知道你在想啥。”

刘长乐援引斯诺登的爆料说，美国国家安全部门以30天为周期，从全球网络系统中接收970亿条讯息，再通过比对信用卡或通讯记录等方式，能几近真实地还原个人的实时状况。“大数据像一辆巨大的推土机，瓦解着国家、社会和个人的信息保护。”刘长乐说。

大数据时代对数据中心的访问量是前所未有的。更多的网络设备将同时访问数据中心，这包括智能手机、平板电脑、台式机、笔记本、甚至正在马路上行驶的汽车。此时，数据中心面临的压力将是难以想象的。正如铁道部2014年年底推出的在线订票系统，采用的系统可谓是当下最先进的系统，但当有几亿人同时访问的时候，网站所有服务都陷入了瘫痪。“大”到一定程度的时候，任何事情都可能发生。

云计算、大数据和物联网等新概念的兴起，必然会带来一次深刻的产业革命。如果说前两次产业革命，中国因为历史的原因，都处于落后的阶段，那么以大数据为代表的第三次产业革命必然是中国真正实现经济强国的历史契机。事实上，全世界都还没有准备好迎接这场革命，尚不了解数据的类别、品质和价值如何界定，也不知道数据的隐私、安全和版权如何保障，没有建立良好的数据产业生态环境，也没有针对大数据的教育和训练。这种不清晰带给了我们更多的机会，而我国独特的体制允许我们在世界其他国家不可能想象的尺度上“办大事，办好事”。政府、企业界、学术界、投资界和媒体需要齐心协力推动这次可能深刻改变我们社会和经济的变革。

面临大数据时代，中国的政治、经济、社会需要实现新的转型，这要求深刻考量中国的发展特征，发现中国在新一轮现代科技革命中面临的短板。这些短板主要包括：我国在数据的开放性、流动性、交互性方面还远远不足；数据的真实性也有可能会成为阻碍大数据时代的一块暗礁。另外，在人才储备上，专业的数据分析人员的角色并没有形成气候，和走在前边的英美国家相比，中国的专业人才储备不足。

国家行政学院公共管理教研部副研究员何哲提出：大数据战略上升为国家战略，首先是需要政府做出表率，要积极构建政府体系的大数据，打通在部门、区域之间隔离的数据孤岛，为建立统一高效的政府服务体系而努力。其次是需要建立大数据发展的标准体系，为整个市场做好标准制定工作，从而指导大数据产业的健康发展。

中国国际经济交流中心信息部相关课题组专家提出：要加快数据安全立法。一方面，大量的数据汇总，涉及到企业运营数据、客户信息、个人的隐私和各种行为的详细记录，对数据的合法抓取和使用需要法律保障。另一方面，中国关于信息产权不清晰，缺乏对信息的所有权、使用权和收益权的规定，这就导致了无法形成一个健全的信息资源市场，无法真正发挥市场在信息资源方面的优化配置作用，这就需要通过法律手段，对信息资源产权进行界定，以便公众理解哪些个人信息是可以获取的，怎样使用，以及个人是否允许这种使用。

国家信息中心信息化研究部副主任、中国智慧城市发展研究中心秘书长单志广提出：加快大数据专业人才引进与培养。政府可以采取培养和引进人才相结合策略，出台激励措施并对企业管理者进行数据分析技术培训，提高大型企业管理人员的数据分析能力。

业内分析，在未来5到10年，大数据产业将迎来黄金增长期。根据国家金融信息中心指数研究院发布报告显示，2016年我国大数据市场规模预计将达238亿美元。在未来，线上线下所有数据都能串联起来；在未来，我们所有人都是数据的提供方，也是数据的使用者；在未来，数据变成一种普及，就像语言一样，成为人人可用的东西，每个人都能享受数据成果。我们生活在大数据之中。

眼下，各地各部门都在学习贯彻十八届五中全会决议和“十三五”规划建议，只有以改革创新的勇气攻坚克难，建立坚实的政策保障机制，破除制约大数据发展的瓶颈和障碍，才能真正开创“用数据说话、用数据决策、用数据管理、用数据创新”的新局面，才能真正释放数据红利、制度红利和创新红利，推进我国从数据大国走向数据强国。