Hadoop技术在移动支付行业的应用

梁明煌 吴航

【摘要】 科学技术及互联网的发展，推动着大数据时代的来临。文章介绍了中国移动集团公司在移动互联网支付系统建设中成功运用Hadoop技术的典型案例。案例采用了Hadoop云计算技术，实现了分布式数据和计算框架，对海量数据进行分布式并发计算，提升了系统并行处理能力，减少了处理等待时间，满足了移动支付多样化及第三方支付平台接入的需要，系统健壮性也得到了极大的提高。

【关键词】 中国移动 Hadoop HDFS MapReduce 移动支付 调度引擎 任务引擎Application of Hadoop technology in mobile payment industry

Liang Minghuang Wu Hang

[Abstract] With the development of science and technology and the Internet， the advent of the era of big data. This article introduces the typical cases of the successful application of Hadoop technology in the construction of the payment system of China Mobile group. In this case the Hadoop cloud computing technology， realize the distributed data and computing framework， distributed & concurrent computing on massive data. Through the mechanism of Hadoop， we are able to enhance the ability of parallel processing， to meet the demand of mobile payment， to diversify the payment platform access need， system robustness has also been greatly improved.

[Key words] China Mobile Hadoop HDFS MapReduce Mobile payment Scheduling engine Task engine

引言

科学技术及互联网的发展，推动着大数据时代的来临。“互联网+”的创新模式使得传统行业与互联网融合发展，形成了更广泛的以互联网为基础设施和实现工具的新经济发展模式，也使得大数据的处理越来越引人注目。

Hadoop技术，在大数据分析以及非结构化数据蔓延的背景下，一出现就受到众多大公司的青睐。迄今为止，Hadoop在互联网领域已经得到了广泛运用，例如，Yahoo 使用4 000个节点的Hadoop集群来支持广告系统和Web 搜索的研究；Facebook 使用1 000 个节点的集群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习；百度用Hadoop处理每周200TB 的数据，从而进行搜索日志分析和网页数据挖掘工作，等等。

本文介绍的是中国移动某子公司在移动互联网支付系统建设中（简称移动支付系统），成功运用Hadoop技术的典型案例。

一、Hadoop是什么

Hadoop是一个由Apache基金会所支持的用Java实现的开源分布式数据和计算框架，在由大量计算机组成的集群中实现了对海量数据进行分布式计算。……