基于分类树的长距离引水工程多源数据管理系统设计

张社荣，金 磊，王 超，刘 婷，李志竑，关 炜

(1.天津大学 水利工程仿真与安全国家重点实验室，天津 300350；2.水利部南水北调规划设计管理局，北京100038)

1 研究背景

长距离引水工程是线性工程，具有工程规模大、建设线路长、周期长等特点，覆盖范围一般跨越两个及以上流域。它能够有效缓解我国目前存在的水资源时空分布不均问题，对我国未来经济、民生以及可持续发展有着重大影响。

最近几十年里，长距离引水工程建设发展的势头十分迅猛，传统人工巡检方式已不能满足现有的长距离引水工程运行管理的需求，工程中产生的数据也渐渐地以传感器监测以及以无人机为代表的高新技术设备检测得到的数据为主。以信息化方式得到的数据体量更加庞大、种类更加繁多，如何更加高效、快捷、规范、合理地对长距离引水工程多源数据进行管理是目前亟待解决的问题。

在长距离引水工程管理方面，Yu等[1]研究了南水北调中线丹江口水库加高给汉江带来的影响，发现丹江口水库对汉江中下游河段的水文情势有显著的影响，随着水库容量的增加，生态需水量无法得到保障；Zhang等[2]通过对模拟计算方法的研究，确定滇中引水工程不需要对高程控制网中的日月引力进行校正；Qiao等[3]根据长距离引水工程中突发性水污染事故问题，提出了一种应急控制中的快速最优决策支持框架；张社荣等[4]通过构建参数化设计平台，实现建筑物模型的快速生成及工程图纸的快速输出，提高了长距离引调水工程三维设计水平和效率；郭宝航等[5]采用决策级融合分析方法与多层次模糊综合评价模型对长距离引水工程多源数据进行融合分析，并提出了相应的安全风险评价方法；王刚锋[6]对工程中存在的风险因子进行识别和分析，提出针对工程不同系统的风险管控措施；吴瀚[7]、宋雅静[8]、董浩[9]通过构建长距离引水工程运行安全风险指标体系，来减小风险发生的可能性；孙长健[10]对长距离引水工程安全监测进行了研究，利用Visual Studio及C#编程语言开发了相应的监测系统；邱世超[11]将BIM技术与GIS技术融入到长距离引水工程中，研究二者的融合机制并开发出相应的管理系统，实现了对工程建设信息的全方位管控。

在多源数据分类管理方面，Ma等[12]在对水质数据调查和管理的基础上，应用贝叶斯统计方法对水质进行综合评价；王鹏等[13]通过构建多源数据分类编码体系，对高放废物数据进行规范化、高效化管理，为实现高放废物地质处置数据共享打下了基础；杨波等[14]针对煤矿建设中存在的问题，构建智能化多源数据管理平台，实现多源异构数据快速处理，便于数据间的共享，消除信息孤岛；田圳等[15]提出了一种基于电网多源监控数据的设备状态感知方法，该方法可保证设备健康、安全、稳定地运行；陈永当等[16]对航空发动机知识获取和分类进行研究，以知识管理为基础，对设计过程进行分析并提出了相应的分类方法。

从国内外研究状况来看，长距离引水工程的研究内容比较广泛，但是多从工程安全问题出发，对工程风险评价、工程仿真等研究比较多，而对于最底层、最基础的数据规范化、高效化分类管理的研究较少。在其他行业中也有对多源数据分类管理的研究，但是在长距离引水工程中涉及较少。所以从整体上来看目前对长距离引水工程多源数据分类管理的研究还未有过多涉及。

根据上文所述，本文依托于某长距离引水工程，通过构建基于分类树的多源数据分类体系，对数据库表结构进行规范化、合理化设计，实现对多源数据的高效管理，基于此研发了长距离引水工程运行期多源数据分类管理系统，以提高长距离引水工程的信息化管理水平。

2 基于分类树的数据管理体系构建

2.1 多源数据种类及获取

目前长距离引水工程数据的获取主要有传感器监测、人工巡检及无人机等高新技术设备检测3种方式，与之相对应获取的数据为结构化、半结构化及非结构化数据。

(1)传感器监测。目前传感器技术已经十分成熟，将传感器安置在建筑物指定部位上，利用传感器将获取到的数据发送到云端，然后通过部署在云端的数据监听程序将其接收并存储到数据库中。通过传感器获取的监测数据一般为结构化数据，数据种类一般包括长距离引水工程中常见的应力、应变、沉降、位移、土压力、渗透压力等。

(2)人工巡检。人工巡检是比较传统的数据采集方式，巡检人员巡检一般分为常规路线巡检以及非常规路线巡检两类。常规路线巡检是指巡检人员每天按照事先计划好的路线进行巡检，而非常规路线巡检则是为了应对突发情况制定的措施。巡检人员一般通过随身携带的检测仪器设备进行数据的采集，主要包括直尺、千分尺、渗漏仪、秒表等。检测的数据多为自描述的文本方式记录的半结构化数据。

(3)无人机等高新技术设备检测。目前在长距离引水工程中，以无人机为主的高新技术设备检测方式越来越受到欢迎，检测到的数据多为图片、视频等非结构化数据。以无人机为例，通过图像识别技术将航拍的图片数据按照图片内容进行保存分类，识别出的问题也多为裂缝、污染物、冰棱、建筑物明显损坏等。

2.2 分类树模型

分类树[17]常用于对事物或者数据进行分类，它的模型构造比较简单，采用自上而下的分类思想，易于理解。若需要对数据进行层级划分及归类，使得数据层级简单明了且更加规范、整洁，则分类树的模型结构就非常适用。分类树每一节点的划分规则都来源于其父节点，比如一个公司的人员组织结构按照岗位职能来进行划分：总经理下有许多部门经理，每个部门经理下又有若干员工，每个员工负责一些具体的事物。分类树模型结构示意如图1所示。

图1 分类树模型结构示意图

图1中的分类树共有3层，其中“1”是根节点，下面的叶子节点与非叶子节点都是由它延伸出来的；中间一层“12”与“13”、“14”互为兄弟节点，为同种类型的数据；最下面一层称为叶子节点，在该节点后没有向下延伸的节点，为分类树模型的最后一层。

2.3 数据分类体系构建

基于分类树模型结构，结合数据设计分类编码方法[18]，对长距离引水工程运行期多源数据分类体系进行构建，分类体系共划分为4层，分别为管理处层、建筑物层、部位层以及数据层。分类体系如图2所示。

图2 长距离引水工程运行期多源数据分类体系

图2中每一个节点的左侧为分类体系每层的内容，右侧为相对应的分类编码，分类编码与数据库设计相关联，该分类体系也是为本文第3节的数据库表结构设计而服务；数据层包含了监测数据以及检测数据，它们均通过相应仪器所表示，1种仪器代表了1种监测数据，其中钢直尺、无人机只是代表了人工巡检与高新技术设备检测的数据。

3 数据库表结构设计

数据库表的设计是数据分类管理应用最重要的部分，如何将分类好的数据按照分类体系有效地存储到数据库而不对数据分类结构进行改变，是数据库表设计中一个最大的挑战。

3.1 设计思路及原则

为了设计好一个符合数据分类体系的数据库表，使得数据库表结构更加合理，在设计数据库表时需要遵循一定的规则。数据库实际设计中常见的规则有3个，在关系型数据库中，规则一般也称为设计范式[19]。

(1)第一范式。第一范式也是最基本的范式，其中的数据字段值不可分解。比如分类体系中的第4层数据层，每1种仪器建立1张数据表，数据表中包含仪器编号、仪器类型、监测值等，每1个字段值都不可再分。

(2)第二范式。第二范式的特征为1条数据记录里各属性字段值都依赖于1个主键，主键也可以称为筛选记录的唯一索引，可以很快并且精确地定位到该条记录。比如与第4层数据层密切相关的仪器信息管理，需要将各种监测检测仪器信息录入到数据库与数据层数据进行关联，其中对于仪器数据表的设计就遵循了第二范式，由于每1个仪器在出厂时都会有唯一的出厂编号，所以仪器所有信息包括仪器类型、仪器生产厂商、生产时间等都依赖于仪器出厂编号这个字段信息。当然在数据库表设计时并非一定要完全按照常见的范式进行设计，就比如数据层在进行设计时，由于监测信息数据是按照时间进行记录，数据量比较庞大，如果按照仪器编号来作为主键对数据进行管理定位，那么结果将是得到很多条仪器编号相同但时间和监测值不同的数据，所以这时可以在数据表中设置1个整数型自增索引，用于数据管理。

(3)第三范式。第三范式指的是数据表中的每1列都要与主键有直接关系，不能依靠其他与主键直接相关的列。比如数据层的上一层为部位层，部位层的上一层为建筑物层，在数据层表格里可以出现监测部位字段，但最好不要出现建筑物字段，建筑物字段是依靠部位字段与数据关联，所以如果要想在同1条记录里同时出现分类体系的各层信息，可以依靠数据表之间的关系建立数据视图，统一对数据进行管理。

3.2 逻辑结构设计

逻辑结构设计是数据库表设计中一个非常重要的环节，它是将概念模型转换为数据库具体支持的结构模型，或者说是将概念模型转换成一般的关系模型，是从理论到实践的优化。该环节主要还是依赖于E-R(实体-联系)图的绘制，具体内容如图3所示。

图3 E-R(实体-联系)逻辑结构设计图

E-R图设计中矩形代表实体，菱形代表矩形与矩形之间的关系，椭圆形代表实体所包含的属性[20]。图3中共有管理员、建筑物、部位、监测仪器以及监测数据这5类实体，基本与数据分类体系相对应，在仪器实体中根据数据获取方式不同，分别设计各类方式下的数据逻辑结构。

4 系统设计与应用

4.1 系统开发环境

系统采用B/S(browser/server)架构进行设计，面向全网络端进行共享[21]。系统开发主要分为服务端、客户端、服务器3个部分，每个部分的开发工具和开发环境均不相同。

(1)服务端。服务端也称作后台，代码在网页端不可见，开发框架采用ThinkPHP。

(2)客户端。利用HTML、JavaScript、CSS、Bootstrap等语言进行网页端搭建，依托Cesium实现三维场景的可视化交互功能，实现数据的可视化展示。

(3)应用服务器。具体包括BIM Server服务器、Apatch Tomcat服务器、MariaDB服务器、网站服务器等，这些服务器部署于Windows系统中，共同为多源数据管理系统服务。

4.2 系统功能设计与实现

根据长距离引水工程运行期多源数据管理的设计需求，系统主要围绕数据分类管理及数据库表结构进行设计。一共设计了3个模块，分别为可视化管理平台、数据分类管理以及系统管理，模块具体设计如图4所示。

图4 系统功能模块设计

(1)可视化管理平台。基于BIM+GIS的三维可视化交互平台是系统开发面向用户的最终呈现方式，也是长距离引水工程多源数据集成的一个平台。可视化平台中不仅包含地点定位、模型显隐、数据绑定等这些基础性的与BIM模型相关的功能，还集成了数据分类管理模块的数据页面，这样用户就不必到具体的任务模块中寻找数据信息，直接在可视化管理平台中一目了然。

(2)数据分类管理。长距离引水工程中数据一般可分为监测数据和检测数据两类，以目前信息化的水平，是以监测为主，检测为辅，这里的检测包括了人工巡检和高新技术装备检测。数据分类管理模块遵循上文中提到的数据管理模式，系统开发也是按照这套模式的逻辑来执行。具体功能包含各种仪器数据的录入(自动和人工)、数据的查询搜索、数据的导出生成下载和删除以及数据随时间变化的统计等。

4.3 系统应用效果

某长距离引水工程横跨多个省份，其部分工程位于河南省境内，目前该系统已在该引水工程投入使用，用户在系统可视化平台中可以点击附加在建筑物模型上的仪器模型，查看具体且实际的仪器信息和建筑物信息，包括仪器编号、仪器类别、出厂日期、监测位置、当前状态、维修记录、仪器所在建筑物名称、建筑物编号、建筑物位置等，通过信息化的手段管理这些属性信息，提高了数据管理的效率，保证了该工程运行期的安全，运行效果良好。具体应用效果分述如下。

(1)基于Cesium平台的三维场景搭建。本文采用Autodesk Revit 2014进行BIM建模，模型包括渡槽、渠道、倒虹吸等建筑物，各类建筑物上均附加了各类监测仪器模型，以不同的颜色和形状进行区分。通过Cesium中带有的ArcGis MapServer Imagery Provider方法对Esri ArcGIS影像进行调用，加载基于ArcGIS服务的MapServer应用，并且利用数据切片技术对原始的地形数据进行处理，形成数字高程模型。将影像数据与数字高程模型进行融合叠加，形成地形数据模型，完成三维场景的搭建展示，如图5所示。建筑物细部仪器展示如图6所示。

图5 某长距离引水工程三维场景搭建页面 图6 某长距离引水工程建筑物细部仪器

(2)监测数据管理。监测数据是通过布设在建筑物上的传感器获得的数据，数据类型繁多，系统根据不同仪器开发不同的数据管理页面，做到对数据的初始分类，然后按照数据分类体系层层划分的思想，设计了系统树结构，便于对数据的筛选分类，最后通过数据库表的一些功能属性(比如主键、索引等)做到对数据的高效查询与管理。监测数据管理结构如图7所示。

图7 某长距离引水工程监测数据管理结构

(3)日常巡检管理。日常巡检作为监测数据管理的辅助手段，也不可或缺。在系统中巡检分为常规巡检和临时巡检，常规巡检的巡检路线是固定的，而临时巡检的巡检路线是随机的，这样就为用户提供了多样的选择。

日常巡检页面展示如图8所示。

图8 某长距离引水工程日常巡检管理页面

5 结 论

(1)构建了基于分类树的长距离引水工程数据管理体系，并结合数据库表设计所遵循的规则，对数据库表结构进行设计，设计体现了数据分类体系的思想，很好地将分类体系中的数据存储到数据库中，实现了多源数据管理中数据的高效分类存储。

(2)基于数据分类管理体系以及数据库表结构的设计，研发了长距离引水工程运行期多源数据管理系统，对多源数据进行层次分类和展示，在一定程度上解决了长距离引水工程数据管理效率低下及管理混乱的问题，为运行期数据共享、交互提供了一种新的思路。