新一代炼化智能工厂整体数据架构规划与综合数据库研发

王华　张春生

摘  要：高质量的数据是智能炼化工厂建设的基础，为保证数据质量和集成共享，全面梳理某新建炼化企业数据源、数据类型和流转关系，在数据治理和数据管理需求分析的基础上，规划了包括资源层、管理层、应用层和数据安全的企业整体数据架构，设计了面向业务的数据模型和面向物理对象的主数据，利用新一代信息技术，开发了融数据治理与数据管理于一体的综合数据库系统，为智能工厂构建统一的数据管理平台和共享中心。

关键词：炼化智能工厂；数据架构；主数据；数据模型；综合数据库

中图分类号：TP311.5  文献标识码：A  文章编号：2096-4706（2023）12-0096-05

Research and Development of Overall Data Architecture Planning and Integrated Database of the New Generation Refining and Chemical Intelligent Factory

WANG Hua， ZHANG Chunsheng

（Kunlun Digital Technology Co.， Ltd.， Beijing  102206， China）

Abstract： High-quality data is the basis of intelligent refining and chemical factory construction， in order to ensure the data quality and integration and sharing， comprehensively sort out the data source， data type and circulation relationship of a new refining and chemical enterprise， on the basis of data governance and data management requirements analysis， the overall data architecture of the enterprise including resource layer， management layer， application layer and data security are planned， and the business-oriented data model and physical object-oriented master data are designed. A comprehensive database system integrating data governance and data management is developed by using a new generation of information technology to build a unified data management platform and sharing center for intelligent factories.

Keywords： refining and chemical intelligent factory; data architecture; master data; data model; integrated database

0  引  言

第四次工業革命的标志是智能化，智能制造是未来的发展方向，高质量的数据是智能炼化工厂建设的基础和高效运营的保证。炼化企业数据源复杂、数据类型多、产生速度快、数据量大。传统炼化企业由于各信息系统建设时间不同、产品技术不同，实现数据一致和共享十分困难。在南方沿海某特大型炼化一体化企业工程建设过程中，同步规划建设智能工厂，实现数字工厂与物理工厂同步设计、同步建设、同步投用。在智能工厂设计过程中，通过深入研究分析大数据、数据中台、工业互联网等技术，参考数据治理方法论，按照炼化企业业务特点和数据特点规划了整体数据架构，创新提出了企业综合数据库概念，建设融数据治理与数据管理于一体的技术平台，解决数据标准化、数据模型统一、主数据管理、跨系统数据共享等问题，从源头上消除信息孤岛。目前，综合数据库系统已在该企业试运行，实现数据的流畅流转和跨系统共享应用，有效发挥数据价值。

1  数据分析与整体架构规划

1.1  炼化企业数据源分析

炼化企业数据源产生方式复杂多样，主要数据包括但不限于：1）机泵等动设备运行过程中的转速、振动、温度等机器数据；2）装置生产过程的温度、压力、流量等DCS采集数据；3）储罐中物料的液位、温度等数据；4）固体化工品、物资等进出库、库存等数据；5）各种公用工程如蒸汽、氢气、水的流量、温度、压力等数据；6）电力系统的输入输出电量、各装置设备用电量等数据；7）原油进厂计量数据，产品出厂发运计量数据；8）原油、成品油、中间物料等分析化验数据，化工品分析化验数据；9）装置DCS、SIS等报警预警数据，火灾、有毒有害气体、排出口等传感器数据；10）工业视频采集的图像数据；11）工厂设计、建设、检维修等形成的模型、属性、文档等数据；12）MES、ERP等信息系统应用操作生成的生产、业务数据；13）办公系统生成各种公文、文档等数据；14）企业生产经营管理生成的各种统计分析数据、指标数据；15）企业采集的各种客户、供应商、价格、需求等外部数据；16）信息管理形成的主数据，系统应用过程生成的日志等数据。

由于炼化企业数据来源多样，结构复杂，设计工厂数据架构时首先要梳理数据来源和在各业务中的分布、明确数据流转关系，分类进行处理、存储和应用。一般按照数据的某种属性度对数据进行分类，常用的分类方法有：1）按照数据结构，分为结构化数据（如生产数据、产品数据）、半结构化数据（如门户网页、系统日志）、非结构化数据（如视频、图片）；2）按照数据记录方式，分为时序数据（如自控系统采生成的温度、压力、流量等数据）、非时序数据（如财务数据、质量数据、客户数据）。由于数据的多样性和复杂性，炼化数据的分类一般是多种方式的组合，数据分类后分布存储在相应的数据库中。

1.2  数据管理与治理需求

数据管理是对数据进行有效的收集、存储、处理和应用的过程。数据标准化和数据质量控制是有效地发挥数据的作用的基础，因此对于一个新建炼化企业来说，需要在物理工厂规划时同步规划数字工厂，从源头对数据资产进行管理和控制。利用数据治理理念和方法，建立一套包括组织、制度、标准、流程、工具在内的数据治理体系，解决标准不统一、口径不一致、共享难度大等问题，形成企业级数据资产，提升数据价值。数据治理涉及企业各个层面，是技术与管理相结合、贯穿于数据管理整个过程的系统工程，一般自上而下发起并推行。主要需求包括以下几个方面：

1）组织方面，建立企业级数据治理委员会，企业主要领导牵头挂帅，业务部门和IT部门共同参与，对数据治理体系进行统筹管理、协调沟通，建立企业数据战略、制度和流程，对数据治理工作进行自上而下的管控与落实。

2）制度方面，制定企业数据治理管理办法，作为数据治理总体的纲领性指引，并制定数据资源目录管理、数据模型管理、数据标准管理、数据质量管理等数据治理活动的分项实施细则，对实际治理工作进行指导、管控和落实。

3）流程方面，数据治理实际工作需要依托有效的数据治理流程，建立数据模型管理、数据标准管理、主数据管理等各项治理工作的规范流程，将数据治理与业务、管理流程相融合、落实数据治理各项要求，促进数据治理工作的高效运作。

4）平台方面，数据质量、数据安全、数据标准、数据模型等均需要相应的支撑工具，进行数据治理工作的固化与落地；建立统一的数据标准和数据资产管理的技术平台，支撑数据集成、数据服务、数据治理和运行监控。依托平台进行主数据分类和标准化管理、发布、使用和变更。

1.3  整体数据架构规划

本着数据管理与数据治理并重的理念，站在炼化企业全局视角梳理数据源、数据流转和数据应用关系，以提高数据质量和发挥数据价值为目标，以数据治理体系为基础，以技术平台为依托，以数据安全为保证，规划企业整体数据架构，整合数据资源，统一数据标准，加强数据集成共享，从源头上解决信息孤岛。

整體数据架构由资源层、管理层、应用层和数据安全四部分组成（如图1所示）。采用云平台、微服务、大数据、数据仓库等先进技术构建融数据管理与数据治理于一体的技术平台，统一进行数据资源管理，并将数据标准、管理制度、管理流程、主数据、元数据等数据治理体系内容落实在平台上。

1）资源层，建设全厂统一的数据库管理系统，包括关系数据库、NoSQL数据库、实时数据库、视频数据库、大数据平台等，炼化企业IT层所有数据分类存储在各数据库系统中。系统物理层资源由企业级云平台资源池（IaaS和PaaS）统一提供，可弹性扩展。

2）管理层，包括数据治理、数据共享中心、数据服务及与大数据平台相应的算法模型等模块。数据治理包括主数据管理、元数据管理、数据质量管理、标准文档管理等功能。共享服务中心主要存储主数据、跨系统共享的业务数据、指标数据，这些数据供各系统共享使用。数据服务包括数据目录、数据地图、数据共享管理、数据接口服务等功能，为用户查询数据、使用数据提供服务。算法模型为应用大数据求解给定的问题提供数学模型和计算过程，如常用的线性回归、聚类、神经网络等算法，通过大数据关联分析实现数据智能。

3）应用层，通过对数据的分析应用，支持各系统或各业务部门生成所需报表、分析报告、预测结果、优化方案等，并可将各种数据和指标与工厂三维模型关联，形成虚实映射的数字孪生。

4）数据安全，通过技术和管理策略、措施建立数据安全保护体系，保护数据不遭到破坏、更改和泄露，保证数据的可用性、完整性和保密性。

在新建炼化工厂建设期，重点是梳理各IT系统数据共享需求，及IT系统与OT系统间数据集成需求，提高数据自动采集水平和共享水平，解决数据孤岛问题。因此，在该大型炼化一体化工厂首先开发实施企业综合数据库系统（见图1中虚框部分），待工厂营运期后再建设大数据平台，实现数据关联分析和智能应用。

2  企业综合数据库设计

2.1  功能设计

炼化企业综合数据库建设目标是构建炼化智能工厂的数据底座，存储各类生产数据和业务数据，集成所需的控制系统数据，支撑业务流程横向融通、纵向贯通；形成炼厂数据标准化治理平台，承载主数据、元数据、数据质量管理等，支撑跨业务、跨部门的数据应用。企业综合数据库包括数据集成、数据存储、数据服务、数据标准化管理及系统管理等功能模块（如图2所示）。

2.1.1  数据治理功能

主数据管理提供主数据查询、分类管理、模型管理、编码规则管理、主数据维护以及主数据申请、校验、审批、分发、归档等线上管控功能，实现智能炼厂统一数据编码和基础数据服务。数据质量管理模块提供质量规则、质量报告、规则模板配置功能，提供基于空值、重复值、值域、正则表达式、主数据编码等检查规则的质量检查模板和质量报告，帮助企业开展数据治理，提升数据质量。标准文档管理提供文档目录配置及广东石化标准文档的上传、下载、维护功能。元数据管理对数据生命周期中的业务语义、技术定义、处理规则等关键数据进行管理，为数据血缘追溯、关联分析等应用提供基础。

2.1.2  数据集成管理功能

包括数据采集、ETL管理、采集监控等子模块。数据采集支持API和数据库两种接入方式，通过数据源、读取方式、读取频率、错误队列、请求参数、传输加密、读取条件、目的库等方面的配置，实现数据集成零代码搭建。通过ETL管理、采集监控等功能实现数据集成可视化管理。

2.1.3  数据服务功能

包括数据目录管理、数据地图、数据共享管理、接口服务等子模块。其中数据地图形成计划、生产、储运、能源、设备、安环、经营等数据域分布的共享数据导航图，综合展示各数据域表数量和记录数量，并定位具体数据实体。数据目录功能提供各业务域从进厂、仓储、生产活动到出厂等环节的业务数据目录，并提供各项数据血缘分析关联图。数据共享管理包括各域数据应用的申请、审批和授权管理，为各系统和数据用户提供数据应用安全定制化服务。接口服务管理包括共享数据接口配置、注册发布、接口申请与授权、接口监控等功能，为系统运维人员提供便捷的接口管理工具。

2.1.4  数据共享中心

建立数据库集群，对智能炼厂主数据和业务数据进行存储管理。其中主数据部分纳管装置、物料、侧线、储罐、设备、人员、组织等智能炼厂基础信息。业务数据部分包含各业务域计划、执行、统计、考核等方面的数据，以及生产过程重点实时监测数据，形成智能炼厂高价值数据资产。

2.1.5  系统管理功能

包括系统运营监控、运营分析、日志管理、权限管理、用户管理、数据安全等子模块。系统运营监控提供监控模板、监控配置、监控类别、报警推送记录、监控记录、接口监控看板、数据库接口分析等功能项，提供监控模板、监控范围配置功能，对主机、接口、数据库等对象的运行状态、故障原因等进行跟踪、记录和展示。

2.2  数据模型设计

在全面梳理该炼化企业数据源、数据分布、数据流转关系、共享应用及管理需求的基础上，参考ISA95和工业4.0工厂模型中及数据属性定义，结合炼化企业生产过程和业务属性，采用面向业务建模方法，设计企业综合数据库整体数据模型。数据模型涵盖生产计划、生产执行、生产绩效的管控链主线，以及進厂、仓储、生产、出厂的业务链主线。根据专业化管理要求，在生产执行管控环节增加储运、设备、能源、安环等专业数据模型。设计装置、设备、产品、物料、储罐、料仓、组织等精确映射物理工厂对象的主数据模型，体数据模型如图3所示。

数据建模的过程按照建模理论分为三步：1）在数据域划分、整体模型确立之后，梳理各业务系统数据源头和去向，明确系统间数据交互具体内容，定义共享数据结构，进行概念模型建模；2）在集成接口定义阶段，进一步明确每一字段长度和格式，进行逻辑模型建模；3）在数据集成和共享接口开发阶段，建立物理数据库和数据表，通过接口同步数据入库。最终形成装置、储罐、料仓等映射物理工厂的主数据模型，及计划、生产、储运、安环、设备等业务域下体现业务流、物料流、财务流的业务数据模型，建成符合生产工艺的物料层级树、设备层级树、物料移动关系及组织机构体系，支撑全厂数据资产规范化、可视化管理。

主数据是各应用系统数据标准化和共享的基础数据，要求完全映射物理工厂中的实体，相关属性为物理实体的静态信息，具有通用性强、共享性高、变更频度低等特点。炼化主数据包含装置、设备、物料、侧线、罐组、储罐、公用工程设施、能源介质、装车岛、鹤位、码头、泊位、组织结构、人员、货币、计量单位、国家地区等20多个类型。主数据发布在综合数据库中供各系统使用。主数据按版本进行管理，新版本主数据发布时，企业综合数据库以消息待办形式通知相关业务系统进行主数据同步，业务系统访问综合数据库提供的共享接口进行接收处理。

3  系统研发与实现

3.1  技术方案

作为智能炼厂统一数据底座和共享中心，企业综合数据库要具有高可用、高并发、高性能及高鲁棒性等特点，以满足多应用系统同时访问、实时调用及大批量取数等场景下的需求。同时，需要满足上层分析展示需求变化频繁，数据接口开发配置快速响应，系统运维简单快捷的需求。因此企业综合数据库采用微服务架构，选择Springboot开发框架，结合Mybatis、Kafka、Redis、RabbitMQ、ES、Activity、druid、log4j、Quartz等核心组件进行接口服务、消息服务、检索服务、日志服务、任务编排服务等功能的开发。基于PaaS平台的容器管理功能、微服务管理功能进行容器和微服务可视化配置、自动化监控，使用DevOps自动化流水线，实现一站式应用设计、开发、测试、集成、发布、部署和运维。

3.2  研发过程

系统研发采用整体设计、迭代开发、分步实施的策略，以3个月为一个迭代周期，先后分为三个阶段进行开发：

第一阶段为基础平台搭建阶段，包括PaaS、数据库、缓存数据库等集群的搭建，消息、日志、工作流等基础类库开发，以及权限管理、系统管理、主数据管理等基础功能开发。

第二阶段为核心功能开发阶段，主要包括数据集成管理、数据服务管理、数据地图、数据目录、元数据管理等模块。

第三阶段为提升功能开发阶段，主要包括运营监控、运营分析、数据质量管理、标准文档管理、日志管理及待办事项等平台辅助功能模块。

在实施阶段，根据各数据域的接口现状和需求迫切程度，分批次迭代开发各域数据微服务接口，滚动执行接口定义、数据集成配置、数据共享配置、接口调试等步骤，及时满足各业务系统数据应用需求。

研发完毕的系统界面如图4、图5所示。

4  结  论

炼化行业数字化、网络化、智能化发展如火如荼，数据驱动已成为生产运营的新模式及数字化转型的主要目标。随着新一代信息技术的应用，改变了传统的IT架构和开发、部署方式，利用新技术搭建新型平台、新IT架构已成为趋势，这种趋势在新建炼化企业已成为主流。在某大型炼化一体化工程智能工厂项目中，通过规划设计和研发取得以下成果：1）梳理数据分布和数据流转关系，编制了包括主数据、数据库、集成接口等在内的企业数据标准体系，用以个规范各类数据标准化和一致性。2）本着数据管理与数据治理并重的理念，站在炼化企业全局视角规划了整体数据架构，指导信息系统数据管理和应用。3）利用云计算、微服务、数据治理等技术构建融数据管理和数据治理于一体的综合数据库系统，创新数据共享方式，从源头解决了数据孤岛问题。

参考文献：

[1] 安筱鹏.重构数字化转型的逻辑 [M].北京：电子工业出版社，2019.

[2] 戴厚良.以数字化转型驱动油气产业高质量发展 [J].国企，2021（1）：36.

[3] 马明，章剑波，胡联伟.炼化工程行业数字化交付研究与应用 [J].石油化工自动化，2020，56（5）：49-53.

[4] 郑炜.基于工业互联网统一数据平台架构实践 [J].电子技术与软件工程，2022（3）：215-218.

[5] 尹巧蕊.数据要素与数据治理—数权世界的双核驱动 [J].学术交流，2022（2）：44-54.

[6] 任国琦，张贺捷.化工行业集团型企业主数据标准的设计和应用 [J].现代化工，2022，42（1）：21-24.

[7] 王建平.大数据管理平台在炼化企业管理中的应用 [J].炼油与化工，2017，28（2）：62-64.

作者简介：王华（1965—），男，汉族，河南漯河人，教授级高级工程师，硕士研究生，主要研究方向：石化企业信息化、数字化转型及智能工厂；张春生（1982—），男，汉族，河北雄安人，高级工程师，博士研究生，研究方向：数据中台、数据运营分析。