Hadoop变局

李昊原

当行业排名前两位的企业选择合并，往往意味着垄断巨头的出现和某种模式下市场竞争的告一段落。

不久前，Cloudera和Hortonworks的宣布合并，让大数据领域的竞争也变得扑朔迷离。两家上市公司为什么要合并？对Hadoop这又意味着什么？都是值得思考的问题。

Hadoop的商业化

Hadoop几乎可以算作大数据的代名词，随着开源技术的被广泛使用，Hadoop已经成为事实上的大数据标准。十几年前，企业数据还普遍是在数据仓库中处理，使用Oracle、SAP、IBM等数据相关软件，但随着互联网的发展，数据类型的多样化，对海量结构化、半结构化数据以及流式数据的处理需求，都成为了旧式商业软件的瓶颈。

2003年，Google Lab开发了Map/Reduce 和 Google File System（GFS），在两年后的秋天，Hadoop由 Apache Software Foundation 公司作为Lucene的子项目Nutch的一部分正式引入。这一能够对大量数据进行分布式处理的软件框架正式出现 ，给大数据软件市场带来了新的机会。2006 年 3 月，Map/Reduce 和 Nutch Distributed File System （NDFS） 分别被纳入Hadoop 的项目中。

对于数量巨大但单条数据价值较低的数据类型，比如舆情数据，在传统的数据仓库中进行分析的性价比較低，远不如在基于Hadoop的平台上更能体现价值。因此在互联网领域，Hadoop得到了普遍的应用，比如Facebook、百度、雅虎，都使用Hadoop技术进行数据处理等工作。作为一项开源技术，虽然可以免费下载，但Hadoop本身却很复杂，对许多有大数据处理需求的公司来说，让IT部门基于Hadoop进行开发的成本太高，难度也太大。因此，如Cloudera和Hortonworks这样的创业公司出现了。

Cloudera成立于2008年，在2009年，Cloudera发行了第一个Hadoop集成版本——CDH。CDH产品包括企业版和开源版……