网络爬虫在拟在工程项目数据分析中的应用

张建根 于耀祖

关键词：网络爬虫;工程项目;数据分析

一、绪论

工程项目建设是社会经济活动的重要组成部分，反映社会基础建设资金投入方向，如果一段时间内社会资金集中投向某一行业，说明该行业处于发展上升期间，反之，则说明该行业处于停滞甚至衰退期。因此工程项目建设是社会行业发展的晴雨表，甚至在一定程度上影响未来宏观经济运行趋势，所以对拟在建工程项目的统计分析不仅对社会企业发展，而且对社会治理都具有十分重要的意义。

中项网（https：//www.ecpe360.corn/）依靠健全的信息渠道和强大的信息收集加工能力，经验丰富的强大调研跟踪团队和扎实的团队作风，采集一线实际项目投资建设实况数据，形成了全面系统、精准高效的拟在建项目信息汇总发布平台。本文通过爬虫技术对中项网项目信息进行抓取，并对项目数据进行汇总分析，以期对行业分析、区域发展、社会治理提供一定的帮助。

二、相关技术介绍

网络爬虫是一种按照提前设定好的规则，自动地抓取互联网信息的程序或者脚本。从互联网网站抓取公开信息并保存至本地数据库，从而解决难以大量获取互联网数据的困难。最初被用于搜索引擎抓取网站数据。而在当今信息化时代，得数据者得天下。因此网络爬虫广泛用于各种互联网应用。一方面，网络爬虫使数据获取变得容易;但另一方面，网络爬虫不仅消耗公共网络资源，而且损害互联网服务站点，被爬取的服务站点需要消耗大量的物理资源应对网络爬虫，甚至发生宕机事故。……