网络众源地理信息获取与整合方法研究

谈 帅，唐天琪，高 雅

(江苏省测绘研究所，江苏 南京 210013)

0 引 言

大数据资源的快速增长以及数据挖掘和地理信息技术的逐步成熟为高效、智能化的网络众源地理信息获取提供了数据和技术支撑[1]。时空大数据蕴含丰富多样的地理信息，本文研究对象主要是政府公开数据和互联网地理信息数据，但是政府公开数据并非都是完整的数据集，而互联网数据更新周期短，数据信息量更加庞大，因此，迫切需要相关策略解决因数据结构复杂、数据保护措施等原因导致的互联网地理信息数据获取问题。

目前，网络爬虫工具层出不穷，但面对复杂的网页结构、严格的API调用制度或需求不断更新等问题，亟需一条完整的技术路线。黄文杰以标讯快车项目为研究目标，使用广度和深度优先策略[2]。高波针对文本、栅格等不同类型的地理信息数据提出了不同的获取方法[3]。刘石磊[4]、郭丽蓉[5]探讨了一些常见的反爬虫措施以及对应用了该类机制的网站进行爬虫活动的手段和策略。虽然不少学者针对网络爬虫技术进行了研究，但是侧重针对互联网地理信息数据获取的研究较少。

本文着重从数据获取方式中的两种类型——网页型和API型[6]入手，从两种渠道分别详细阐述相关技术路线，为时空大数据的获取提供思路，为地理国情监测工作提供数据方面的支撑，有利于促进新型基础测绘实践的快速开展。

1 互联网地理信息数据特点

网络地理信息服务与桌面地理信息系统软件相比，前者存在明显的限制：① 带宽限制，地理信息通过互联网、移动网络传输的速率低于本地存储设备以及稳定的内部网络；……