基于数据中台视角的企业数字化转型探析

2021-04-08 03:19冯晓娜雷会锋王璐
航空财会 2021年1期
关键词:共享大数据

冯晓娜 雷会锋 王璐

摘要数据化转型逐渐成为企业实现可持续经营的必经之路。本文在分析企业数字化转型中的突出问题及原因的基础上,梳理了企业创建数据中台的前提、一般流程及注意事项,并基于阿里巴巴的数据中台实践案例,为企业构建、实施数据中台提供建议。

关键词 数据中台;大数据;共享;复用

DOI: 10.19840/j.cnki.FA.2021.01.007

“中台”一词源于阿里巴巴的“大中台、小前台”战略。就阿里巴巴而言,“前台”就是直接服务于最终用户或商家的业务部门,“中台”则是强调资源整合、能力沉淀的平台体系,旨在为“前台”开展业务提供技术和数据支持。“中台”一词还衍生出数据中台、财务中台、组织中台、业务中台、服务中台等诸多概念,但影响最大的是“数据中台”。自被称为数据中台元年的2019年起,华为、腾讯、万科、京东、网易零售、字节跳动、360金融、国家电网等诸多知名企业均在积极探索、建设、应用数据中台。

但对于“数据中台”的定义,目前尚未达成共识。国务院发展研究中心信息中心的李广乾认为,数据中台是企业数据系统解决方案中的那些可共享、可通用的数据业务内容,与数据参考模型联系紧密。前阿里巴巴业务平台负责人玄难认为,数据中台是一种整合基础数据并提供数据产品供业务方使用的能力。网易大数据平台负责人郭忆认为,数据中台是指面向不同的主题域,将分层的数据组织在一起,通过服务化的方式向外界提供可供决策的数据,是一種统一共享的数据组织,核心是实现数据的复用,可解决与企业运营管理相关的效率、质量和成本等三大问题。中国数据中台行业研究报告(2019年)把数据中台定义为“企业数字能力共享平台,是平台的平台”。还有诸如,数据中台是一套可持续“让企业的数据用起来”的机制、“企业级能力复用平台”“数据使用方法的集合体”等观点。理论界对数据中台的探索还处于概念讨论的萌芽阶段,涵盖数据中台的定义、定位、架构及建设等[1-4]。数据中台的简框如图1所示。

尽管对定义数据中台还存在争议,但对其作用,各界均认为数据中台旨在提高数据的使用效率,核心功能是基于海量数据(基于大数据平台产生的)提高企业的运行效率,目标是促进企业更好地利用数据,更快地让数据产生价值。鲜有文献梳理数据中台背后的深层原因及企业是否及如何构建数据中台等方面的内容。

本文在汇总数据中台现有研究成果的基础上,通过梳理数据中台产生的背景、构建数据中台的一般流程,并结合阿里巴巴成功实施数据中台的案例,为企业更好地开展数据中台项目提供借鉴。对于准备实施数据中台的企业而言,须基于自身的行业发展特性和具体业务性质,进行深入研究和规划,继而建设与自身发展相匹配的业务中台和数据中台。

一、企业数字化转型中的突出问题及原因

(一)企业数据项目“烟囱式”建设

“烟囱式”的数据开发是企业数字化转型中面临的突出问题。由于企业的组织结构多为直线式的职能型管理,各部门互为独立,导致基于单个部门(项目)建设的数据项目多为垂直的体系结构。每一个部门都有自己的存储、设备、管理工具和数据库,不同部门无法共享资源,形成了资源和信息孤岛。“烟囱式”的数据开发,还引致企业多个部门之间数据的复用性较差,从数据开发、上线、再到使用的一系列环节,缺少整体层面的规划与控制。此外,诸如冗余数据不断堆积导致存储成本上升、数据回溯性差导致错误源很难发现等问题,也多与“烟囱式”的数据开发模式紧密相关。

以阿里巴巴集团为例,在数据整合之前,淘宝、天猫、聚划算三大平台均需要在IT建设上投入大量资金,导致重复建设、资源利用率下降的问题。自2015年起,阿里集团将淘宝、天猫、聚划算进行统一规划管理,加强各平台之间的资源整合,实施“万能淘宝,品质天猫,活力聚划算”战略,并以此为基础构建阿里的数据中台建设。

(二)数据对业务部门的支持力度弱

数据源于业务,更要服务于业务。但对于很多企业而言,数据对业务的支撑作用有限。表现为:(1)数据使用门槛较高。对非技术型的业务人员而言,由于计算机知识欠缺,数据使用普遍出现困难。比如,结构化查询语言(Structured Query Language,简称SQL),对技术人员容易,对非技术型的数据使用者而言可能就很困难。(2)全链路监控缺失,数据质量无法保证。一个数据的获取需要上百个节点,任何一个节点出错,都可能导致最终数据出错,且不易定位问题的根源。(3)数据对业务的支撑作用弱。不同于汇集数据的数据平台,数据中台具有业务属性,可以支撑多个前台业务,使得各前端业务部门不再独立管理业务数据,真正实现不同业务之间的互通互融。

总之,部分企业构建的大数据中心或数据仓库普遍出现重复建设、数据成本高、取数效率低、数据质量差等问题。站在数据开发者视角,随着数据量级的逐渐扩大,数据开发难度加大。站在数据使用者视角,数据查询慢,需求响应慢,数据经常违反常规。站在企业管理者角度,花了那么多钱,还支撑不了业务。

(三)导致上述问题的原因分析

导致上述问题的原因主要有:(1)缺少规范的数据传递流程。很多数据中心缺少规范的数据开发、数据应用及管理流程。(2)尽管有些企业制定了数据的开发、管理、使用等制度,但由于技术系统跟不上,导致功能模块之间的数据接口复杂多样,难以实现系统之间的协同。(3)组织架构分散。传统的部门结构导致数据隔离,很多数据仓库无法有效连接。(4)数据与业务分离,无法更好地促进业务发展。

(四)是否需要构建数据中台的判断

并非所有企业都适合构建数据中台,判断标准有以下三方面:(1)是否存在数据传递阻隔问题。由于事业部制的组织结构,各部门之间形成了部门墙,存在烟囱式的数据系统。(2)是否存在数据重复建设问题。企业体量大时,业务复杂,可能自己开发建设或与第三方机构合作共建数据仓库,本企业内部是否有多个部门在建设自己的数据仓库。(3)企业规模巨大,业务复杂。

二、如何构建数据中台

数据中台是信息化与大数据融合发展的产物,是构建业务中台的基础。旨在从多个维度提高企业业务工作的效率,促进企业的高效运行。关键在于有效融合现有的信息化资源,不是另起炉灶。

(一)搭建企业数据中台的原则

构建数据中台应遵守的原则:标准、统一、共享及安全。对于一般企业而言,应首先理清业务与数据的关系,整合业务信息系统和会计信息系统,建立标准和统一的数据采集、存储和加工机制。只有企业规模达到一定的程度,业务信息化发展到一定的水平,才有必要构建并从数据中台获得收益。不能为了赶时髦,仓促上马数据中台。其次,要确保数据共享与安全。诸如数据集中式的数据中心(数据仓库),只是把大量数据集中起来,还应与业务部门分享数据。数据中台最终能否真正地产生业务价值,目前尚无定论(类似会计人员提供的报表,是否有用并产生价值受多种因素的影响)。对于尚未具备构建数据中台条件的企业而言,现阶段可在人员储备、技术能力、组织架构、业务水平等方面夯实基础。

(二)搭建数据中台需要考虑的三个主要问题

1.从方法论的视角。如何采用主题域管理模式,实现“一个数据”,分层管理数据;如何实现数据模型复用,被其他地方多次使用,比如横向的覆盖范围和纵向的跨层引用等;如何提升数据服务化水平,打通全链路数据、加设数据网关、整合异构数据源。

2.从技术的角度。如何构建数据研发体系、数据建设体系、数据服务体系以及数据应用体系。数据研发体系,基于现实问题和远景目标的研究开发系统;数据建设体系,基于元数据构建的指标体系、数据质量、成本优化、数据地图、数仓设计等应用场景;数据服务体系,搭建数据研发与数据应用的桥梁;数据应用体系,数据中台实时化、云端化、自动化(代码构建)、智能元数据处理和增强分析、通用数据产品建设,数据生产力能力显著提升。

3.从组织架构的角度。数据产品技术部包括数据产品团队、数据平台团队、数据开发团队、数据应用团队。数据中台的建立一般会伴随着企业组织架构的调整。

总之,从建设数据中台的步骤看,一般是首先建设业务中台,基于一定的规则汇积大量的业务数据(即业务数据化);其次,基于业务对数据的需求愿景,制定中台建设的整体规划,确定数据中台的分阶段建设目标。从数据中发现价值,反过来赋能业务。最后,根据业务部门的需求建设数据中台,使数据服务于业务,优化业务,驱动业务增长并提升业务工作的效率(即数据业务化)。

(三)构建数据中台的具体内容

1.数据采集与存储。数据中台的数据源头,应能够采集内部数据和外部数据、结构化数据和非结构化数据、历史数据和现时数据,满足多种类型的数据采集需要。此外,此环节还包括以一定的规则将数据有序存储。

2.数据计算与分析。基于大数据和云计算,为数据中台提供的快速、准确的计算能力,满足各个层次的数据计算需求。同时,提供可视化的数据ts分析。

3.数据管理与服务。数据管理的内容包括数据标准、数据模型、数据质量、数据安全等。数据标准包含数据编码、目录、标签、字段、库表、视图、数据口径、术语、元数据等内容。数据模型涉及一般算法模型和机器学习算法模型。数据质量涵盖及时性、准确性、完整性、一致性等维度。数据安全主要是指数据的访问、使用、披露、修改、销毁等均需授权。在此基础上,使数据尽可能快捷地支撑企业业务发展,服务于企业整体战略。总之,标准、规范、统一的数据管理是提供较高质量服务的前提。

三、案例分析

(一)阿里巴巴的数据中台简述

2015年,阿里巴巴集团提出“大中台、小前台”的战略,创建业务和数据两个中台,打通业务与数据之间的障碍,实现对数据的采集、管理、控制、使用等全流程管控。如图2所示,数据中台和业务中台相辅相成,满足多种场景的对内对外数据应用,共同支撑阿里巴巴总体战略的实现。

(二)阿里巴巴的数据中台应用

1.数据管理。曾有观点认为,大数据就是大灾难,如果企业没有很好的能力管理数据,数据越大,灾难就越大。阿里数据管理主要围绕“存、管、用”展开,“存”就是针对性地进行数据收集和存储;“管”就是积极处理收集过来的数据;“用”就是要认真思考数据的应用场景,充分发挥数据的价值。

2.数据应用。数据应用方面,主要是站在用户的角度考虑数据的应用价值和应用需要。通过全域数据收集(多终端的数据采集与连接)、全渠数据融合(阿里旗下所有平台上用户的行为数据)、全链数据集成(纵向记录某种产品或服务整个商业过程的数据),阿里为众多商家提供数据分析、诊断、优化、预测等一站式数据服务,全面支撑业务发展。此外,阿里的全局数据监控可视化,将原有的报表、指标全部可视化,利用折线图、柱状图、饼形图等工具展现出来。

比如阿里巴巴商家端统一数据产品平台——生意参谋,基于数据中台为不同行业的店主提供端到端的分析支撑,实现数据统一、服务统一和产品平台统一。打通淘宝、天猫、蚂蚁等业务中间层之间的隔阂。

(三)案例小结

阿里的数据中台是一套持续“让数据变成资产并服务于业务”的机制,是依据阿里自身的业务模式和组织架构构建起来的,不仅能降低数据项目的重复建设、减少部门间烟囱式协作的成本,也是阿里差异化竞争的优势所在。

四、结论与启示

随着数据时代的来临,越来越多的企业想通过数据驱动来进行精细化的运营和数据化转型。从数据中心、数据仓库、数据平台一路发展而来的数据中台,是大数据时代企业数据化转型的关键路径。企业是否需要建立数据中台,要基于自身的业务及数据特征做出综合判断。需要具备扎实的基础架构尤其底层基础架构和相对完备的IT基础设施,渐进式地建立适合企业自身的数据管理机制和流程。构建数据中台时,一般要遵循标准、统一、共享、安全的原则。

当前,企业建设数据中台相对较优的方式是,通过合理规划、复用企业已具备的大数据基础(平台、工具)。充分借鉴业界数据中台建设的成功實践,从企业数据管理核心需求出发,首先基于某一特定业务,打通数据采集、存储、计算、治理、服务的工作全流程,逐步扩展到全域数据的接入、加工和管理,建设起适合自身规模、业务特征的数据中台。AFA

参考文献

[1]李广乾.什么是数据中台[J].中国信息界,2019(6):72-75.

[2]王作敬,汪照辉.企业中台建设思索[J].金融电子化,2019(6):72-75.

[3]缪翀莺,谭华,易学明.数据中台的定位和架构分析[J].广东通信技术,2019(12):57-62+70.

[4]刘俊良.新时代数据中台研究与设计[J].电子世界,2020(5):119.

(审稿:薛胜昔编辑:贾璐)

猜你喜欢
共享大数据
谈云计算与信息资源共享管理
褪色的“共享”
挂羊头卖狗肉的“共享”营销
大数据环境下基于移动客户端的传统媒体转型思路
基于大数据背景下的智慧城市建设研究
数据+舆情:南方报业创新转型提高服务能力的探索
图书馆与出版企业数字资源共享的环境因素分析