大数据关键技术初探

钟君 张梅燕

摘 要：本文采用文献研究法，通过对大数据相关文献的阅读与整理，对大数据的关键技术进行了深入的探究，从智慧之道、高效之道、实时之道以及投向更广阔的技术领域四个方面对相关技术进行详细介绍。

关键词：大数据；数据挖掘；计算；关键技术

随着不断涌现的各种社交网、微博这类新型的信息发布方式及物联网、云计算等技术的兴起，数据正在以空前的速度增长，大这意味着大数据时代的到来。2012年1月在瑞士举行的达沃斯世界经濟论坛上，一份名为《大数据，大影响》（Big Data，Big Impact）的报告引起热议。这份报告认为，大数据就像货币和黄金一样，是一种新型的经济资产。多家投资机构甚至据此判断，“大数据”将会成为一条全新的投资主线。

笔者通过对大数据相关文献的阅读与整理，对其关键技术进行深入的探究，从智慧之道、高效之道、实时之道以及投向更广阔的技术领域四个方面对相关技术进行详细介绍。

1 智慧之道——数据挖掘

一般来说，数据挖掘的方法可分为统计型和人工智能中的机器学习型两大类，在其应用中，将有价值的信息进行发掘都是其最终目标。由于各种方法都有自身的功能特点以及应用领域（如表1），数据挖掘通常是将多种技术结合使用，形成优势互补。[ 1 ]

2 高效之道——分布式计算

典型的分布式计算技术如下：1）中间件技术：分布式应用软件若需要在的技术之间共享资源则需要借助于此。[ 2 ]2）移动Agent技术：一般认为此技术是一类自治程序，为分布式应用提供高效方便的执行框架，并能在自治之下实现不同计算机之间的移动。……