基于Hadoop搭建高可用数据仓库的研究和实现

刘晓莉 李满 熊超 秦黄 刘晓娟

摘  要：目前，网购交易的日益增加使得电商数据量呈现疯狂增长的态势，数据量的大增需要引入数据仓库，用以支持对大容量数据的分析和处理。在数据仓库的架构设计过程中，将HDFS作为底层文件存储系统，避免因某些原因而导致的系统崩溃。该文对高可用数据仓库的应用进行深入的研究，通过搭建高可用数据数仓平台，解决Hadoop单节点故障问题，提高数据采集和存储的效率，有效解决了传统数据分析的局限性，具有一定的应用推广价值。

关键词：数据仓库；高可用；大数据；Hadoop

中图分类号：TP311  文献标识码：A 文章编号：2096-4706（2023）01-0099-03

Research and Implementation of Building High Availability Data Warehouse

Based on Hadoop

LIU Xiaoli， LI Man， XIONG Chao， QIN Huang， LIU Xiaojuan

（Guangzhou College of Technology and Business， Guangzhou  510850， China）

Abstract： At present， the growing number of online shopping transactions has led to a crazy growth of E-commerce data volume， which requires the introduction of data warehouses to support the analysis and processing of large volume data. During the architecture design of the data warehouse， HDFS is used as the underlying file storage system to avoid system crash for some reasons. This paper conducts in-depth research on the application of high availability data warehouse. By building a high availability data warehouse platform， it solves the problem of Hadoop single node failure， improves the efficiency of data collection and storage， effectively solves the limitations of traditional data analysis， and has certain application promotion value.

Keywords： data warehouse; high availability; big data; Hadoop

0  引  言

隨着信息化时代的到来，数据仓库技术逐渐受到国内外工业界和学术界的高度重视，Hadoop大数据平台可以看作迭代更新后的数据仓库系统，具有低成本、高性能、高容错和可拓展等特征。它主要实现了MapReduce计算模型和分布式文件系统HDFS功能，并且拥有许多不同特点的相关组件，这些组件为相关工程提供各种服务，逐渐形成一系列的组件系统，通常被称为Hadoop生态系统。

基于大数据仓库的决策系统可以对大容量的数据进行分析、挖掘、模型训练等。大数据的数据仓库建设能够响应灵活多变、对实时性有不同程度要求的多元化需求，除了面向DSS、BI等传统应用外，还要响应用户画像、个性化推荐、机器学习、数据分析等各种复杂的应用场景；更多的是基于非商业、开源的技术，常见的是基于Hadoop生态构建，所涉技术较为广泛、复杂，同时相对于商业产品，稳定性、服务支撑较弱，需要自己维护更多的技术框架，数据仓库模型设计更灵活，能够很好地满足电商数据平台现有的需求。……