Python网络爬虫技术的研究

三亚学院 杨 月

旅游行为特征已成为目前学者们的研究重点。学者们在以往的旅游行为研究中很多采用问卷调查来获取数据。而在信息时代，人们通过博客、微博、微信朋友圈来发布自己的旅游感触，学者们便通过游客在网络发布的网络游记来获取数据。近年来，部分学者展开了对旅游方面的研究，如林毅焜在基于文本挖掘的典型旅游网站的旅游分享研究以陕西省为例一文中，采用文本挖掘的方法，选取携程网、去哪儿网等旅游网站作为研究样本，对旅游游记中词出现的频率、语言所蕴含的意义、网络情感进行分析。吕宛青等在基于网络文本分析的丽江大研古城旅游迷思演变研究一文中通过对网络游记和相关文献的分析，发现了古城多年来旅游演变的根本原因。徐柳在婺源篁岭品牌传播策略的优化研究——以游客网络游记为样本一文中，从消费者感知视角来考量婺源篁岭的品牌传播效果，并就其品牌传播策略的优化进行探讨。刘彦花等在基于网络游记的游客旅游行为特征分析一文中以到访广西的游客为研究对象，基于网络爬虫技术研究旅客行为特征。本文基于游客发布于旅游网站的网络游记，从吃、住、行、玩等方面归纳总结到访三亚游客旅游行为特征，从而为三亚开展合适的旅游景点宣传提供参考，也为促进三亚旅游行业的发展做出一定的贡献。

1 网络爬虫技术

1.1 网络爬虫定义

随着大数据时代的来临，网络爬虫在互联网中的地位至关重要。……