运用机器学习的方法进行城市防洪模型研究

夏勇 贡斌 蒋占军 徐小军

（江苏鸿利智能科技有限公司 江苏省江阴市 214400）

1 国内外的现状分析

国外在利用大数据技术进行洪水预报方面取得了一些成果。美国国家气象局将全国数字高程数据、地表覆盖数据、土壤水数据、雷达气象数据、全国实时洪水流量数据等进行融合，并利用WRFHydro, NoahMP LSM等一系列分布式模型，建立了高精度的全国洪水预报系统，可对全国267万个河段进行实时预报。欧洲洪水预报预警系统（EFAS）是全欧洲第一个实时洪水预报系统。它集地理信息系统、数据库、多种水文及动力学模型于一体，连接水文气象数据采集系统例如ECWMF，结合地面降雨和卫星云图、自动进行数据预处理、降雨径流模拟计算、洪水演进模拟计算和预报结果动态显示等，可以为国家和地区提供4-10天以及实时的洪水预报预警服务以及应急管理服务。此外，日本、英国、荷兰等国也在大数据驱动的洪水预报研究方面取得了很大的进展。

国内随着云计算、物联网、大数据等技术的发展和普及，有些学者将其应用于城市安全和应急响应方面的研究。例如，2013年，宋轩等利用物联网技术获取了日本福岛约160万人GPS移动轨迹数据，然后利用大数据技术对这些数据进行挖掘分析，从而发现了灾民撤离的行为模式并建立了相关模型，利用此模型可及时感知灾难的发生并可对灾难进行模拟或预测，减少灾难造成的损失。近几年，也有部分学者将物联网与大数据等先进技术应用于城市雨洪风险管理的研究，如2015年，余帅利用分布式计算和存储的开源软件框架Hadoop分析城市DEM数据来科学合理的布置城市洪涝监测点，以及利用物联网平台IoT实时监测并处理渍水点水位数据，并在此基础上设计了一个城市洪涝实时监控的方案。该研究成果能及时监测城市洪涝具体情况，为相关管理者的决策提供了指导。

综上所述，目前国内外基于大数据的数据挖掘及分析技术的研究已运用到了水利、灾害应急管理等各个领域，且取得了一定的成果。而将大数据机器学习运用在“智慧水利”中、尤其是城市防洪模型领域的相关研究目前尚属起步阶段。

2 机器学习的基本概念

机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分筛选，进而得到行之有效的学习算法，有效提高学习效率。

在产业发展的今天，对大数据分析需求的持续增加，通过机器学习高效地获取知识，已逐渐成为当今机器学习技术发展的主要推动力。大数据时代的机器学习更强调“学习本身是手段"机器学习成为一种支持和服务技术。如何基于机器学习对复杂多样的数据进行深层次的分析，更高效地利用信息成为当前大数据环境下机器学习研究的主要方向。机器学习越来越朝着智能数据分析的方向发展，并已成为智能数据分析技术的一个重要源泉。另外，在大数据时代，随着数据产生速度的持续加快，数据的体量有了前所未有的增长，而需要分析的新的数据种类也在不断涌现，如文本的理解、文本情感的分析、图像的检索和理解、图形和网络数据的分析等。使得大数据机器学习和数据挖掘等智能计算技术在大数据智能化分析处理应用中具有极其重要的作用。

图1：技术路线图

3 城市防洪模型的发展瓶颈

常规的水利模型可以分为两类：第一类是普遍在预报中采用的概念性水文模型如新安江模型、SAC、HBV、MIKE-NAM等；第二类是基于网格的分布式水文模型如网格新安江模型，HL-RMS、美国国家水模型、LISTFLOOD等。流域型水文模型是描述流域降雨径流形成过程的各函数构成的一种物理结构或者概念性结构，是当今水文预报的基本工具。

近年来，院校、专家、学者直接将水利模型套用在城市防洪模型的基础上，由于受基础数据、观测数据与数据处理技术的限制，许多分布式水文模型的参数仍然仅根据流域出口断面的流量资料进行率定或部分参数根据流域特征估算，无法给出流域内任意河流断面或任意坡面处的洪水过程，城市建筑、河网、管网、下垫面、植物面积等因素的变化不能及时更新至水利模型中，导致模型推演的准确性低，在防汛期间无法发挥预报分析的作用。

4 本次研究的技术路线

本文以江苏省昆山城区为典型示范区开展基于机器学习的城市防洪模型研究，研究内容涉及计算机科学和信息融合技术、水文水资源、灾害学、管理科学、统计学习等，具有综合、交叉、复合性的特点，主要采取复杂系统大数据深度分析方法、模型分析法、定性定量研究法及实证研究法等进行大数据信息融合技术理论方法和城区防洪调度场景的研究。

技术路线如图1所示。

（1）调查研究：基于昆山城区灾害、历史特大降雨等调查分析，确定本项目的主要研究内容、关键问题、拟采取研究步骤和技术路线。

（2）特征数据收集：基于昆山城区历史数据，过滤清洗异常数据，分析极限值，找出极限峰值，构建机器学习的典型数据库，标记关键特征。

（3）具体的理论、方法、模型研究：①信息融合、大数据理论及风险评估理论研究；②城市雨洪风险评估及调控决策模型研究；③城市雨洪风险评估及调控决策系统研究。

（4）应用研究：结合昆山城区的实际情况，应用上述理论方法进行成果验证及对策研究。

5 研究内容的实践与探讨

5.1 昆山城区已具备的研究基础

昆山市从2008年就着手于水利信息化的建设，先后建设了圩区水利工程信息化系统、智慧水利综合管理系统，梳理、整合昆山水利信息化硬件、软件等元数据、主数据、专题数据等内容，实现了昆山市水利多部门的多系统的数据整合和数据优化，形成了昆山智慧水利的综合数据库，具备对海量信息数据实时与非实时的分析挖掘的计算能力。

5.2 建立面向机器学习的典型特征数据库

分析昆山城区历史数据，重点水情、雨情、工情等，过滤清洗异常数据，分析极限值，找出极限峰值，对有效的暴雨洪涝的风险场景评估分析，并对场景发生时降雨数据、地物水文、地表地形、排水管网、历史灾情及社会经济等多源异构大数据进行数据结构关联获取，构建机器学习的典型数据库，标记关键特征，并进行数据的统一存储。

5.3 构建基于LSTM与RF相结合的机器学习模型及算法

引入机器学习算法，将长短期记忆神经网络（LSTM，Long Short-Term Memory）与随机森林（Random Forest，RF）相结合，研究如何使用RF进行指标数据相关性分析、重要性分析、分类和融合，提出和建立基于RF的数据融合方法，构建场景调度指标体系；同时结合LSTM对时间序列数据处理的优势，提高单一随机森林模型静态特征预测的准确率。在此基础上，鉴于场景调度具有不确定性和高维非线性的特点，引入定性定量不确定性转换的云模型(Cloud Model，CM)和统计智能学习领域的支持向量机(Support Vector Machine，SVM)，借助华为FusionInsight大数据分析工具上建立融合的城市防洪调度模型。

基于机器学习与FusionInsight的系统融合架构如图2所示。

5.4 基于大数据驱动的场景学习相似区发现

图2：基于机器学习与FusionInsight的系统融合架构

影响水情关系的区域特征众多，气候特征、结构特征、几何特征、河网特征、土壤特征、植被和土地利用特征、地理位置等构成了高维特征空间，研究进行特征降维的理论与方法，在低维特征空间评价计算单元相似性。研究基于空间临近、物理相似、水文指标相似等的综合相似性指标，探索不同计算单元内影响洪水过程形成的流域特征，识别不同特征因子对洪水过程的影响权重，选择不同的聚类分析方法对不同计算单元进行聚类分区，使得特征综合相似的单元聚为一类。基于分区结果，提出为缺资料计算选择一个或几个相似计算单元组合的途径，移植有资料单元的降雨径流关系及参数为缺资料单元提供洪水模拟和预报方案。

5.5 实现基于实时数据的动态场景推演平台

接入实时数据，选择、录入场景数据（包含降雨、工情等），构建以WebGIS、数据可视化、图表等组件构成的数据的场景推演平台，利用面向机器学习训练的典型数据库，针对关键特性进行匹配，按相似程度选出各类方案，并进行场景模拟推演与学习，实现对选定场景的动态演示。

5.6 基于真实环境下的应用实践

2019年防汛期间，借助于本次研究的城市防洪模型，结合当前水势场景，分析历史相似因子，对各类调度方案进行模拟推演分析，通过应用的实践，验证了模型的科学性和可行性，后续进行有效修正和完善，进一步扩大应用推广。

6 结束语

本次以昆山城区为典型示范区，将大数据机器学习的方法运用于城市防洪模型的研究，将计算机的技术与水利行业应用相结合，运用大数据的变化趋势，结合当前水势场景，分析历史相似因子，对各类调度方案进行模拟分析，提出水利工程调度优化方案和水体管理应急预案，为城市防洪减灾、大数据智能发展具有重要意义。

本文探索了机器学习的方法下城市防洪模型的研究，提出了技术路线和方法，对建设内容进行了实践和验证，以供大家学习参考。