山东大学“大数据”探索

2014-03-13 01:55:02陈琳展鹏
中国教育网络 2014年1期
关键词:大数据信息

文/陈琳 展鹏

山东大学“大数据”探索

文/陈琳 展鹏

大数据有拿手强项,也有不擅长的领域。数据分析的结果看似客观公正,但其实价值选择贯穿了从构建到解读的全过程。

大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用。

大数据解决方案

大数据时代的到来对数据的存储、处理及分析提出了新的挑战, 但总的发展趋势是通过分布式计算来解决 “瓶颈”问题。我们不能依赖提高单个节点性能这种纵向扩展的方式提升系统整体的性能,相反, 我们需要能够通过增加系统内节点的数目这种横向扩展的方式来达到我们的目的。我们将存储、 处理和分析的任务通过分布式的方式分散到系统中各个节点上来加快数据的存储、 处理和分析的速度。在 实 际 的 实 现 上 ,Google、Amazon、微软和 VMware这 4 家公司在不同时间陆续推出各自的大数据方案, 在应用领域和赢利模式上,Amazon和Google处于领跑者地位, 微软和 VMware 紧随其后,此外还有开源的Hadoop平台。Hadoop是谷歌大数据平台的开源实现, 由于其开源特性, 越来越多的企业在Hadoop的基础上对其进行修改以适应自己的需要,如Facebook根据其业务需求, 底层采用Hadoop 平台进行数据的存储和处理, 并在其上开发了Hive。Facebook通过Hive实现了例行性报表、 即席查询、 机器学习和数据挖掘算法, 达到了较好的效果。大数据的存储稳定、 高效的存储系统既是系统正常运行的重要保证, 也可以单独作为一项服务提供给用户。……

登录APP查看全文

猜你喜欢
大数据信息
订阅信息
中华手工(2017年2期)2017-06-06 23:00:31
大数据环境下基于移动客户端的传统媒体转型思路
新闻世界(2016年10期)2016-10-11 20:13:53
基于大数据背景下的智慧城市建设研究
科技视界(2016年20期)2016-09-29 10:53:22
数据+舆情:南方报业创新转型提高服务能力的探索
中国记者(2016年6期)2016-08-26 12:36:20
展会信息
中外会展(2014年4期)2014-11-27 07:46:46
信息
建筑创作(2001年3期)2001-08-22 18:48:14
健康信息
祝您健康(1987年3期)1987-12-30 09:52:32
健康信息(九则)
祝您健康(1987年2期)1987-12-30 09:52:28
健康信息(十则)
祝您健康(1986年5期)1986-12-30 09:52:22