统一数据湖技术研究和建设方案

刘志勇，何忠江，刘敬龙，阮宜龙，孟照方

（中国电信集团有限公司，北京 100033）

1 引言

随着信息技术、芯片技术、软件算法的高速发展，大数据、5G、云计算、人工智能（AI）等新技术正在成为驱动创新与实现数字化转型的重要力量，其中数据资源更是推动数字经济发展的“粮食”和“血液”。作为每天需要采集PB 级数据的企业，建设什么样的大数据平台才能以更少的投入发挥更大的价值，是电信运营商面临的重大挑战。

从技术趋势上看，近年来，为适应日益复杂的数据环境，加快数据应用部署速度，数据湖逐渐成为全球企业大数据运营管理的重要趋势和方向。数据湖的概念由Pentaho 公司的创始人兼首席技术官Dixon J 提出[1-2]，指“未经处理和包装的原生状态水库，不同源头的水体源源不断流入数据湖，并为企业带来各种分析、探索的可能性”。其主要技术特点为，数据湖统一汇集和管理各生产系统的数据，提供统一的数据存储和访问服务，数据分析和开发人员可以各取所需，充分发挥数据价值。数据湖概念如图1 所示。

图1 数据湖概念

在数据存储方面，数据湖按照生产系统的原生模型存储企业数据，不仅简化了数据的处理过程，保证数据真实可靠，同时能对具有时效性要求的实时应用提供更好的支撑；在分析应用方面，上层应用可以通过数据湖的标准化接口获取数据，进行自定义的模型转换，能够更加快速地满足日益多样的分析需求；在数据治理方面，数据湖提供统一的目录管理、权限控制、编排调度、追踪溯源等功能，能够有效识别和管控各项数据及其处理过程，促进企业数据质量的持续提升。……