基于大数据的城市治理精准化服务信息平台研究与应用

2019-09-05 01:10周圣川黄蓉赵军1王海银胡振彪
城市勘测 2019年4期
关键词:爬虫应急信息

周圣川,黄蓉,赵军1,,王海银,胡振彪

(1.青岛市勘察测绘研究院,山东 青岛 266032; 2.海陆地理信息集成与应用国家与地方联合工程研究中心,山东 青岛 266032;3.青岛市西海岸基础地理信息中心有限公司,山东 青岛 266032)

1 引 言

所谓城市治理就是政府、社会组织、企事业单位、社区以及个人等诸行为者,通过平等的合作型伙伴关系,依法对社会事务、社会组织和社会生活进行规范和管理,最终实现公共利益最大化的过程。自我国把推进国家治理体系和治理能力现代化确立为全面深化改革的总目标之一,提出实现治理体系与治理能力现代化要求以来,国内的许多城市都纷纷探索社会治理模式的创新,实现从“管理”向“治理”的理论与应用提升[1~3]。与此同时,社会治理相关部门“条块分割”“各自为战”“重复建设”的现象还普遍存在。分散的管理格局导致各类社会资源得不到有效整合,信息数据无法共享共用,社会管理的力量无法统一[4];传统的治理手段导致基层负担重、行政效能低,基础性、源头性、苗头性社会问题得不到及时反映和及早防控;落后的治理机制使各级领导无法在第一时间快捷掌握全地区整体动态,遇到紧急事件无法快速反应;城市管理与城市治理相关部门的业务流程和需考虑的管理因素愈发复杂,积累了大量离散的数据;跨部门的业务协同、数据协同需求不断涌现,新的管理需求和问题也频出不穷。与此同时,大数据技术方兴未艾,如何在大数据和“互联网+”时代推进电子政务的集约化,打通城市治理相关部门之间的业务边界、数据边界,充分挖掘各类信息数据在城市治理中能发挥的作用和价值,是目前我们行业和社会所共同关注的重点。

本文探索了时空大数据汇聚、可视化分析与数据挖掘等技术在城市治理领域的应用。目前,本论文的研究成果已成功推广应用至青岛市市北区与西海岸国家新区的城市治理工作中,取得了良好的应用效果,推动了政府城市治理方式的转变与创新。

2 系统框架

基于大数据的城市治理精准化服务信息平台主要由城市治理大数据库、城市治理信息平台、城市治理大数据可视化及信息共享系统等子系统平台组成,采用分层体系和“云+端”架构,服务器可采用云端虚拟化方式部署,终端打通覆盖手机客户端、视频摄像头、手机信令、城市监测传感器等城市治理物联网数据源,应用系统可在互联网或政务网等网络上运行。平台的主要架构如图1所示。

其中,城市治理大数据库由时空信息数据库、城市治理基础数据库、城市治理专题数据库、公共服务与城市现状数据库、其他应用专项数据库等部分构成,涉及5个主库,60余类、数百层城市治理相关数据。城市治理信息平台实现数据采集、城市网格化管理、城市治理业务协同联动、绩效评价、知识检索等功能。城市治理数据可视化及信息共享系统基于城市治理大数据中心构建,实现城市治理相关的专题数据管理、统计查询、大数据可视化分析展示,以B/S应用形式运行,为城市管理者和城市治理业务部门提供辅助决策支撑。系统以GIS技术为载体,整合、打通政府决策所需的各类数据资源,包括多维时空信息数据,手机信令、监控摄像头、环境监测传感器等实时数据;同时,整合城市规划、国土资源、交通物流、商业服务、科教文卫等跨部门、跨领域的工作流数据,并基于一个平台实现数据的综合展示、数据检索、信息共享;建立时序热力、空间关联聚合等大数据辅助分析模型提高政府决策能力与公共服务效率,作为城市治理数据的可视化与信息共享基础平台支持城乡建设规划、城市治理、安全监管、应急指挥、便民服务等一系列电子政务与智慧城市应用。

图1基于大数据的城市治理精准化服务信息平台架构

3 城市治理大数据建设

3.1 大数据分类整合原则

如图2所示,平台设计和构建了涵盖城市治理各个主要应用领域与业务领域的综合大数据中心,包含人口信息、建筑物信息、视频监控信息、城市管理部件、工商法人、城市危险源、城市应急资源、科教文卫与福利机构等60余类、数百层与城市治理相关的数据图层,总数据记录数千万级,存储容量TB级。

图2城市治理大数据分类

在大数据的数据清洗、分类、整合过程中,主要秉承了以下4个原则:

(1)整体性原则。大数据整合与政务信息和数据的收集、组织、开发和利用关系密切。要求其中的数据与城市治理、城市管理业务具有直接或间接的关联,并且各数据之间并不孤立,具有逻辑关联和整体性。

(2)多样性原则。各数据来源不同,保持数据的多样性和各数据本身专有特点,保留数据亮点。

(3)以公众为中心原则。以综合性和服务性城市治理为目标,不仅满足政府部门决策提供信息需要,也要从城市生活、社会化应用角度更多为广大公众提供有用信息和便利服务。

(4)以需求为导向原则。数据的整合不是一概而论,更不是盲目地将所有数据资源简单加工和整理,要以服务于城市治理、服务于社会大众为需求导向,实现有效数据的收集和整合。

3.2 基于互联网爬虫的数据获取与更新

大数据的采集与协同更新是保障数据生命力与应用价值的核心,同时也是建设大数据中心的传统难点问题。为了实现数据的自动化、常态化更新,确保数据的现势性与实用性,在平台中引入了数据爬虫技术,同时从互联网和金宏网上自动获取与城市治理业务紧密相关的信息数据。可以定期动态地从省市政务信息资源共享平台,链家、携程、天眼查等网站上获取城市治理所需要的企业、建筑、人口、公共服务等各类信息数据。为后续的城市管理、人口分析、经济发展、应急辅助决策等应用提供支撑。在基于大数据的城市治理精准化服务信息平台中,使用了两种数据爬虫技术,一种是基于“操作宏”的数据爬虫,一种是基于Python和HTTP协议的数据爬虫,如图3所示。

图3互联网数据爬虫及获取的企业信息数据的空间化结果

基于“操作宏”的互联网数据爬虫,主要通过模拟鼠标点击的方式实现数据采集,对返回的页面进行基于正则表达式的数据内容提取。基于Python的数据爬虫,使用request请求目标数据,使用scrapy框架进行数据内容的提取清洗。“操作宏”适合进行小规模数据的快速提取,而基于Python的数据爬虫则适合进行大规模、大范围数据的定期采集与更新。

4 基于大数据的城市治理方法

通过大数据技术的支撑,平台实现了城市治理数据的数据挖掘与辅助决策,提升政府的宏观决策能力、应急保障能力与综合服务能力,实现微观精细化管理与大数据宏观辅助决策无缝结合。

4.1 “地-楼-房-人”四位一体化管理

如图4所示,通过基于大数据的城市治理网格化信息平台的建设,实现了宗地数据的收集、清洗、整合,建筑数据的采集和空间化,房间、住户信息的采集以及与人社数据的有效整合和接口对接。最终实现以地查楼、以地查人、以楼查房、以楼查人、以房查人的连锁查询及反向查询,在应急响应、重点人口管理、城乡规划建设、公共安全、社区管理等领域有良好的应用价值,可以为政府决策、管理及规划提供数据层面的量化依据。

图4 “地-楼-房-人”一体化管理

同时,平台通过Web Service的方式打通与人社业务数据库的关联,实现数据的实时校验与定期更新。可以实时检索实有人口的社会救助信息等业务数据,使平台与人社的业务系统实现了无缝对接。

4.2 基于大数据的城市运行管理

通过前期的大数据整合与集成,平台中实现了对上百类城市治理相关的数据的可视化展示与查询。平台中整合了城市管理部件数据,小到一个上下水井盖,大到大型公共停车场,在平台中均能实时检索到相关的信息。

如图5所示,当出现城市治理问题时,例如某个雨水井盖丢失,网格员上报后可以在大数据平台中实时定位,查询出井盖的养护单位、管理单位和责任人。在大数据平台中整合了城市治理网格化管理系统中上报采集的所有城市治理事件,可以对城市治理情况进行四维度上的动态热力分析,对城市治理和公共安全事件的处理情况、发展趋势进行有效分析和判断,发现治理热点区域,评价治理效果。

图5基于大数据的城市运行管理

此外,大数据平台中有全城域内所有的临街商铺、重点企业、仓储物流、九小场所数据,通过生成各种图形报表,可以对不同城市区域的宏观经济发展情况进行监控和评价,分析不同区域的经济活跃度。通过打通与工商、法人信息库的联结,可以通过统一社会信用代码实现数据联动和业务联动。平台中还整合了城域内所有的文化教育、医疗卫生、福利机构、体育设施、视频监控摄像头、实景三维等信息数据,从不同的数据支撑和分析应用角度为基于大数据的城市治理管理决策提供服务。

4.3 基于大数据的公共服务管理

在基于大数据的城市治理精准化服务信息平台中,研究并应用了一系列大数据挖掘与分析方法,通过数据挖掘来发现海量数据中所暗含的规律,为城市治理和城市的发展提供决策依据和数据参考,使每一个决策都有数据可依。

图6基于大数据的聚合与数据关联分析

例如,图6所示为青岛市市北区公共停车场和临街商铺基于大数据聚合分析的结果。可以从数据中直观地看出,城区南部的停车场分布较为密集,结合日常的公共交通流量数据,就可以较为准确地评估新规划停车场的区域。

此外,基于大数据的分析方法,使城市管理者能透过现象看本质,发现单一数据中难以发现的规律现象。从聚合分析中可以发现,市北区停车场的空间聚合分布与临街商铺的空间聚合分布呈现某种正相关现象,即停车场分布密集区域临街商铺的分布亦密集。基于上述规律,在空间聚合的结果上再应用统计学中的相关系数计算模型[5],可以从统计学角度证明,青岛市市北区的公共停车场建设不仅能够解决交通和市民出行问题,还可以对区域经济发展,产生明显的促进作用。

4.4 基于数据钻取的应急保障与辅助决策

如图7所示,基于大数据的城市治理精准化服务信息平台依托数据爬虫、网格化采集等多种技术手段确保数据准确、全面、现势性好。所以,该平台在应急保障和辅助决策方面有非常好的应用效果。

图7 基于数据钻取的应急保障与辅助决策

当在区域内发生应急事件时,通过大数据平台结合GIS技术,可以通过数据钻取实时分析出事件周边的各类资源、设施的分布情况。例如在1 km范围内有多少消防队、派出所、应急资源储备设施可以利用;有多少危化品存储、运输单位,相关的危化品是何种类,应急预案、责任人的信息是什么;周边有多少中小学校,学校中有多少学生;周边有多少医院,医院的等级、专科、床位数量以及到达指定区域的最短距离、时间等等。上述信息均可以在一个大数据平台中进行检索和分析,并且可以进一步通过城市治理指挥中心与相关部门的责任人和业务系统直接建立联系,使应急响应与应急保障更及时、更有效,在时间就是生命的应急响应过程中,发挥关键的作用。

5 总结与展望

通过基于大数据的城市治理精准化信息服务平台的开发与应用,实现了宏观、微观结合的科学化城市治理,解决城市治理的“最后一公里”问题,通过大数据应用与分析,提升宏观决策能力与科学性,发现城市治理的隐含问题与规律。后续,将在大数据更新机制、大数据挖掘,动态非结构化数据集成等方面开展研究,分析城市治理过程中面临的新问题,对平台进行拓展与升级完善。

猜你喜欢
爬虫应急信息
利用网络爬虫技术验证房地产灰犀牛之说
人民的期盼就是应急青年的使命
基于Python的网络爬虫和反爬虫技术研究
应急救援要诀“少 快 短”
应急管理部6个“怎么看”
大数据背景下校园舆情的爬虫应用研究
订阅信息
大数据环境下基于python的网络爬虫技术
国际新应急标准《核或辐射应急的准备与响应》的释疑
展会信息