王丹宁,曾科学,简献哲
(1.广州中医药大学 第五临床医学院,广东 广州 510095;2.广东省第二中医院(广东省中医药工程技术研究院),广东 广州 510095;3.阶梯健康(深圳)科技有限公司,广东 深圳 518131)
1.1.1 “大数据”的概念
“大数据”(big data)的概念由Buxton 等人在2008年第一次提出。大数据,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产[1]。麦肯锡全球研究所给出了大数据的四大特征:(1)海量的数据规模。大数据的计量单位是以P(1000T)起的,最大可为Z(10 亿个T)。(2)快速的数据流转。大数据时代,对数据的处理要求更高,产生和处理等更加迅速,加上云平台和云计算的加持,数据的处理流转更快一步。(3)多样的数据类型。大数据中包含视频、文字、图片、位置信息等各种各样的数据类型。(4)价值密度低。通过合理运用大数据,可以以低成本创造高价值。
1.1.2 大数据的处理——云平台
对于大数据的处理,最重要的技术就是云计算平台。从技术上看,大数据与云计算的关系密不可分,云计算通过分布式处理、分布式数据库和云存储、虚拟化技术对大数据进行挖掘处理。Hadoop,是由Apache 软件基金会开发的开源分布式系统基础架构,能够对大数据进行分布式处理,是云计算技术中重要的组成部分,也是大数据的关键技术,起源于Google 的三大理论(论文)GFS:分布式文件系统[2]、MapReduce:开源分布式并行计算框架[3]和BigTable:一个大型的分布式数据库[4]。……