基于实时数仓技术，赋能生态合作平台商业化智慧运营

蔡琨 闫宇 张云 彭涛 叶秀泳

（中移互联网有限公司，广东广州 510000）

0.引言

进入5G时代，智能终端设备产生的海量数据，对于业务运营、客户维系具有较高的价值。如何管理好、使用好这些数据资产，通过数据驱动业务，使能业务的智慧运营？在提升数据应用的实时效率上，我们进行了积极探索和实践。

1.现状分析

随着数字化时代日新月异的发展，终端设备的智能化，业务服务的精细化，数据运营在使能业务智慧运营发挥着越来越重要的作用，对于数据处理的实时性需求越来越多，例如搜索推荐、实时分析、广告投放、系统监控。传统以批处理为主的数据处理模式不能满足业务要求，需要一种实时的数据处理平台，以支撑流式数据处理模式的场景，有效发挥大数据和快数据的技术优势，赋能业务生产的精细化运营。

近几年，随着流式数据处理框架的兴起，实时数据仓库这一理念被越来越多互联网公司所采用。实时数仓是传统数据库的新演进，以数据的实时处理和实时应用为主要特征的数据存储、处理和应用服务平台。在数据的接入流程上，数据实时采集后，快速清洗，存储成一定格式的数据结构，并能够立刻面向外部提供数据服务，整个数据链路的时延可以控制在毫秒级，实现了数据的“即采即存即用”。

目前，业界的互联网大厂都构建起了以Flink为框架的实时数仓，例如阿里是国内最早一批开展实时计算平台搭建的公司之一，其瞄准和深耕最前沿的实时计算框架Flink，并在此开源框架上，研发了Blink大数据实时平台，形成了具有数千台规模的Blink实时生产集群，支撑着广告、推荐、搜索、大屏等核心生产业务场景。……