供应链大数据平台的建设与应用

程曦

摘要

随着互联网的高速发展以及打造智能、协同、高效的供应链全流程体系需求的日益紧迫，传统的信息化手段面临着诸多挑战，已无法适应大数据时代的新环境。本文从供应链全流程在线操作、数据挖掘分析、总体架构、硬件部署、关键开发技术、核心开发思路等方面着重阐述了中国移动上海公司（以下简称上海移动）供应链大数据平台的建设思路及关键技术。结合具体的应用实例，介绍了如何通过供应链大数据平台的应用支撑来实现供应链系统全流程贯通，建立数据存储分析系统，构建不同场景下的数据分析模型，对数据价值进行深度挖掘，实现采购管理、需求管理、供应商协同、风险防控的信息化整合。上海移动供应链大数据平台，充分才之掘了供应链信息价值，实现了多维度分析，打造了集统计、分析、预测、监控、告警于一体的智慧信息化手段，助力供应链智慧运营。本项目供应链大数据的应用填补了上海移动M域的大数据应用空白。

【关键词】大数据 B域 O域 M域 HadoopSpark ETL MPP

1 项目概述

1.1 项目背景

十九大报告中首提“现代供应链”，国务院办公厅发布了《关于积极推进供应链创新与应用的指导意见》，首次将供应链上升到国家层面，将供应链发展提到新高度。要求以供应链与互联网、物联网深度融合为根本路径，创新发展供应链新理念、新技术、新模式，高效整合各类资源和要素，提升产业集成和协同水平，打造大数据支撑，网络化共享，智能化协同的智慧供应链体系。

中国移动集团十三五大连接战略提出的“成为数字化创新的全球领先运营商”的企业战略愿景，要求在全国范围内建立一套大数据分析系统帮助堵塞漏洞，实现以大数据分析为基础的自我发现、自我纠正、自我提示和自我完善的闭环管理机制。

上海移动通过数年的信息化建设，聚集了海量的供应链数据。随着互联网发展趋势下对打造智能、协同、高效的供应链全流程体系需求日益紧迫，传统的信息化手段面临着诸多挑战，已无法适应大数据时代的新环境。如何通过供应链大数据平台的建设，更有效地提升数据分析能力，将数据应用最大化，助力供应链价值提升，推进以大数据为核心的供应链管理能力是本项目课题主要研究的方向。

1.2 建设目标

1.2.1 存在的问题

上海移动供应链大数据平台建设之前，存在以下问题：

（1）采购项目没有全流程概念，无法追溯一个项目从采购需求到付款的全程数据，无法形成有效分析。

（2）供应链全流程数据存储分散、系统众多，存在信息孤岛，一个采购流程涉及了预算管理系统、工程项目管理系统、本地供应链系统、集团ES系统（集团电子采购系统）、合同管理系统、框架订单系统、供应商协同平台等多个系统。

（3）采购项目效率不高的原因无从查起，缺乏有效分析，无法形成有效的管理手段。

（4）采购作为第三利润源，节约采购成本成为了内部利润来源之一，但目前哪些采购领域存在节约空间缺乏数据依据，无法提供决策支持。

（5）供应商的战略合作分析，缺乏数据支持。

1.2.2 建设目标

上海移动提出了供应链大数据平台的建设目标：基于供应链系统全流程贯通，建立数据存储分析系统，构建不同场景下的数据分析模型，对数据价值进行深度挖掘，实现采购管理、需求管理、供应商协同、风险防控的信息化整合，打造智能、高效、协同的供应链管理能力。

2 供应链大数据平台的建设思路及关键技术

2.1 全流程在线操柞

依托于上海移动本地供应链系统的大数据应用平台，首先要做的，就是协同本地供应链系统，寻找流程断点，完成采购项目全流程的在线操作。

（1）关闭除供应链系统以外的其他需求提请入口;

（2）开发供应链系统的方案、结果会签流程;

（3）打通与合同管理系统、框架订单系统间的接口;

（4）打通与集团ES系统的数据传送接口。

2.2 数据挖掘分析

系统实现全流程在线操作后，充分数据的抽取、挖掘与整合，分类梳理数据信息，分别从预算管理系统、工程项目管理系统、本地供应链系统、集团ES系统、合同管理系统、框架订单系统、供应商协同平台进行抽取，形成统一、全量的供应链采购底层数据库。从预算管理系统中抽取：预算项目、科目、预算部门、预算金额等数据;从工程项目管理系统中抽取：工程总投资、项目名称、项目编号等数据;从本地供应链系统中抽取：需求部门、需求内容、采购方式、采购金额等基础信息数据、需求收到时间、方案审批时间、结果审批时间、预计到货时间等时间节点数据、审批人员数据及供应商数据;从集团ES系统中抽取：公告发布时间、评审时间、项目结束时间等数据;从合同管理系统中抽取：合同审批部门、报账比例、合同金额、己报账金额、未报账金额、合同起始时间、合同终止时间等数据;从框架订单系统中抽取：框架上限金額、框架已用金额、框架未用金额等数据;从供应商协同平台中抽取：实际到货时间、到货批次等数据。

源数据首先经过ETL抽取，然后进行封装转换，封装转换工具使用目前经营分析数据集市平台成熟的数据拆分系统，封装之后的数据直接供平台用户访问、下载、分析。

2.3 总体架构

供应链大数据应用平台分成三层，底层是：三域融合（B域、M域、0域）的大数据平台;中间是模型层：供应链专业模型，包括采购全流程监控模型、采购成本节约模型、集中度统计模型、公开采购统计模型、风险管控模型、需求预测模型等;上面是应用层：供应链专题分析应用，包括采购时效分析、采购指标分析、采购管理分析、风险管控分析、项目进度查询、实时告警等。

2.4 硬件部署

硬件部署包括MPP资源池、主（备）应用服务器、业务数据库、文件存储服务器等。

服务器环境安装如下标准组件：RADWARE让应用程序服务器卸下本地服务器负载均衡的任务，提高性能及容错能力。TOMCAT轻量级应用部署中间件，配置了JNDI数据库连接以及内存管理的采购供应链自取数平台服务。JDK跨平台的程序设计语言，供应链自助取数平台，使用成熟的spring、ibaits等JAVA框架搭建。ORACLE配置数据库，存储平台用户、应用配置等关键数据。两台应用服务器皆开放80端口给RADWARE做负载均衡，并在访问端做好域名配置，用户可通过域名访问应用服务器，RADWARE接收请求后先进行服务器压力判断，之后将请求转发至压力较小的服务器处理。

2.5 关键开发技术

跨库大数据透明访问引擎需实现涵盖主流关系型数据库（DB2、Oracle、Teradata等），大数据应用平台（HDFS、Hbase、流数据等）的各类异构数据源的整合查询，“数据量大、时效性高、整合查询难”，因此技术上采用Spark实现。Spark是基于内存，目前大数据计算领域热门、通用的并行计算开源技术。基于弹性分布式数据集（RDD），Spark提供了一站式多维度的大数据计算框架，尤其出色支持Interactive Query、流计算、图计算等。Spark集成多种计算模型，可在企业应用中无缝整合：Spark SQL集成多种数据源，包括流式数据、关系数据库、Hadoop Hive等，提供多种数据源的低延迟的复杂整合计算;SparkStreaming流式数据批处理，可进行复杂数据处理，易于与其它数据源进行整合;MLlib主要提供机器学习相关的计算库，包括常用分类、聚类等;GraphX：提供图论相关计算库。

跨库大数据透明访问引擎的实现使用Spark框架的Spark SQL（整合查询）与SparkStreaming（实时流处理）两项开源技术。

2.6 核心开发思路

2.6.1 标准化数据流程

供应链大数据应用平台基础数据根据采购业务域的标准数据流程和技术规范直接接入并整合。

2.6.2 数据安全性的保证

供应链大数据应用平台基于MPP的多租户式技术，能够共享相同的系统和程序组件，又确保各租户之间的硬件资源的可分配管理性以及数据的高度安全隔离性，不同的租户在共享数据中心的硬件设施的同时，会按照各自的需求定义他们的虚拟化资源。

2.6.3 统一模型整合

Mpp采购域基础数据从不同业务域抽取整合、存储，解决采购数据依托业务域存放、受业务域数据存放周期限制的窘境，满足了采购对基础数据存放周期长、数据量巨大的业务需求。

3 供应链大数据平台的应用

3.1 智能预测，促业务发展

传统的采购模式为“以需定采”，存在需求响应慢，需求计划准确性差等管理难点，易造成库存不足或积压过多等诸多问题。上海移动基于大数据分析能力，转变需求响应模式，将需求驱动供应的模式改为主动备货，打通各专业系统瓶颈，使数据实现透明化、可视化;通过数据聚合，拉通需、采、供、销等各端联动预测，结合现有库存及采购周期进行主动备货，大幅提高了需求计划和采购计划的准确性，从而进一步提高供应链敏捷性，提升了需求响应能力。以家宽物资为例，通过大数据对供应链系统（采购、库存、调拨）、经分系统（安装、领用、维修）、BOSS系统（销售、续约、移机）等关键数据，整合监控分析，及时掌握市场变化趋势，发现瓶颈，及时应对。大数据分析实现了以销售指导订购，合理备货，避免供货不及时或库存呆滞;同时亦通过监控安装量与销售量的偏离情况，指导网络部门调整装维能力，有效保障业务发展。

3.2 智能运营，促供应链效能提升

3.2.1 实现对采购关键指标的全面统计分析

传统的指标统计分析手段为获取各系统的原始数据，通过EXCEL处理计算，得出指标统计结果，计算过程繁复，且因按周期统计，数据存在延时，无法满足实时掌控跟踪指标结果的要求。上海移动通过建立大数据分析体系，对数据深度挖掘，以图形化的形式进行展示，实现对采购关键指标数据的全面统计分析，从而准确、及时掌握供应链业务发展，并可下钻至具体分析，发现影响指标的关键因素，为后续判断和决策提供数据支撑。

3.2.2 实现采购项目全流程监控、分析及预警

采购项目的执行过程涉及多个系统，传统的线下分析手段难以把控一个采购项目从收到采购需求、编制采购方案、开展项目评审、形成采购结果、签订采购合同的全流程进展。采购项目进程是否有人为拖延、是否在标准时长的控制范围内、哪些项目是需要重点跟进的，这些均需要通过大数据手段进行实时跟踪，便于及早干预，确保项目进程高效、合理。

上海移动通过采购全流程数据采集，进行采购效率跟踪，针对采购完成率、及时率、超时情况、回退率等各项评价采购效率情况的数据分维度自动分析，并将分析结果进行可视化展示，以快速了解项目进展情况，发现瓶颈，提供有效、客观的数据支撑。对采购项目每个环节及项目总体进行监管并告警，根据优先级提示处理超时项目，快速定位超时情况，抓住采购效率提升的重点，从而由采购人员被动查询项目进度变为主动推送，预防项目出现超时，提升采购效率，并由系统自动生成员工采购效率考核成绩，使采购工作效率与绩效挂钩落地，实现每一位采购人员的能力评估和潜力挖掘。

3.2.3 實现供应商协同管理提升

上海移动原有信息系统与供应商系统间缺少信息互联互通、信息不透明，缺乏从订单下发、物流、交付、回款全程信息共享;货物批次信息（货物类型、体积等）不可视，仓库提前准备性差，供应链运行效率低下。供应链大数据平台的建设开启了与战略供应商华为在供应链方面的深度合作试点，实现了上海移动供应商协同门户和华为平台的系统直联，基于供应链大数据平台，实现了上海移动供应链系统、项目管理系统、仓库实物管理系统及华为供应链系统的采购订单、配货信息、发货信息、接收信息、报账信息的数据共享。在订单协同方面：实现了电子化订单，优化了签约管理，提升了交易效率和透明度;在物流协同方面：实现了华为公司箱条码自动扫码编译为上海公司内部物料编码，减少人为干预、实现快速入库，通过备货、运输信息的协同对接，实现物质在途信息及时共享，提升收货和入账效率和准确率;在付款协同方面：实现到货接收、列账信息共享，管控交易风险。

3.3 智能风控，促合法合規建设

针对密集的合法合规审核点，在采购进程及实施材料审核过程中，单纯靠采购人员的人工审查、比对，工作量巨大且容易出现差错和纰漏，不利于采购效率和采购质量的提升，甚至有引发廉洁风险的可能，无法满足当前合法合规建设的要求。因此，采购风险防控亟需引入大数据处理能力，以机器换人力，将大数据运用在事前控制、事中监督、事后分析的风险防控机制中，达到安全合规的目的。

3.3.1 以大数据实现关键环节风险防控

通过监控获取产品名称、物料名称、供应商名称、项目名称、履行期间框架金额上限控制方式、总部框架号、总配额、执行金额、预算金额、集采类型、订单编号、物料编码、产品单价、合同号、产品目录决策层级等数据字段在需求提出、采购方案、采购结果、合同签订、订单执行等各环节对不合规行为强制管控，拒绝违规操作，从源头确保合法合规。

主要管控内容包括：

超配额管控：一采产品下单前与份额信息比对，超份额订单无法提交;超框架上限管控：采购订单提交前将订单金额与剩余框架金额比对，如剩余金额不足，无法采购;超框架有效期管控：订单提交时比对合同有效期及提交日期，超期框架无法实施采购;非标产品管控：采购方案生成前，如产品目录为非标产品但未经集团公司审批的，方案无法提交;超预算上限管控：采购需求提交前，将预算金额与项目信息管理，超过项目预算的需求无法提交;超合同单价管控：采购订单提交前，对“锁定单价”的物料进行强控，无法修改单价。

3.3.2 实现非结构化数据风险自动识别

对采购文件、投标/应答等文本进行字段结构化、标准化，挖掘非结构化数据的可分析价值，再利用大数据自动化分享手段，核查围标串标、供应商资格条件、监控专家评分异常行为，保障公司依法合规开展各项采购工作，降低和避免法律及廉洁风险。

核查供应商的围标串标：针对供应商上传至ES系统的完整电子应标/应答文件，核查是否存在一家以上供应商的电子应标/应答文件的最后保存者为同一特殊作者名;是否存在一家以上供应商的电子应标/应答文件的内容呈现大段一致文字、或呈规律性重复内容。核查供应商的资格条件：针对供应商的投标资格条件，核查供应商之间是否存在控股、关联关系;排查供应商是否己被工商行政管理部门列入严重违法失信企业名单或被上海公司列入三年禁入合作名单。核查评审组成员的打分：针对评审组成员上传至ES系统的商务评分和技术评分，筛查客观分是否一致，主观分是否超出常规偏离度范围。

4 项目总结与展望

4.1 项目成效

上海移动供应链大数据平台，充分挖掘了供应链信息价值，实现了多维度分析，打造了集统计、分析、预测、监控、告警于一体的智慧信息化手段，助力供应链智慧运营，填补了上海移动m域的大数据应用空白，取得了良好的成效：

4.1.1 助力公司降本增效

（1）加快服务响应、保障物资供应。上海移动供应链大数据分析解决了需求与供应、采购与销售间的信息孤立问题，实现了需求-采购一供应间的联动，有效解决了需求响应能力差、到货不及时等难点、痛点，为市场业务的发展奠定了良好基础。针对家宽等项目，建立需求数量模型，根据开工数量及模型核定物资月度需求。2017年下半年，到货及时率提升至82%，平均到货天数从37.37天缩短至29.85天，缩短20%。

（2）全面提高运作效率、提升服务水平。通过供应链大数据应用，实现了一体化的采购项目管理，对采购进度实时监控、采购任务精准调度，采购效率显著提升。2017年全年，平均采购周期同比缩短15天，采购效率全年提升20%.通过建立与战略供应商的深度协同，共享生产、备货、发货等物流关键信息，提升到货跟踪能力，盘活物资，降低了仓储费用。订单下单时长缩短70%，入库效率提升40%以上，全面提高供应链整体运行效率和服务水平。

4.1.2 加强风险防控，深化企业廉洁文化

将供应链大数据作为嵌入式廉洁风险防控体系建设的重要内容，并将事前控制、事中监督、事后分析的信息化管理嵌入风险防控，深化了业务合规管控、嵌入式风险防控机制，对采购过程中的风险点提前识别、提前防范，促进自查自纠能力，降低采购风险，从而进一步完善和优化了采购管理，确保公司依法合规开展各项采购工作。

4.2 后期展望

上海移动供应链大数据平台的建设和运用虽已取得良好成效，但后期还将进一步拓展：

4.2.1 优化计算模型

搭建优化产品需求周期分析模型、工作量均衡分配模型、采购节约分析模型、供应商分层分级模型以及产品全生命周期管控模型，从采购项目管理向采购管理延伸。

4.2.2 全面推广应用

将非集中采购的项目数据纳入供应链大数据应用平台，实现实时查询、个性化分析，提供便捷的数据应用。

4.2.3 拓展业务范围

将采购流程由原本的合同签订环节拓展延伸至付款环节，进一步扩大延伸业务域，让流程更全、宽度更广;同时，对数据进行更深层次的分析，从采购效率往降本增效、供应商战略合作等方面扩展，打造大数据支撑、智能化协作的智慧供应链体系。