基于众包的社交网络数据采集模型设计与实现

高梦超，胡庆宝，程耀东，周 旭，李海波，杜 然

(1．四川大学计算机学院，成都610065;2．中国科学院高能物理研究所计算中心，北京100049;3．中国科学院声学研究所，北京100190)

1 概述

互联网的兴起打破了传统的社会交往方式，简单、快捷和无距离的社交体验推动社交网络快速发展，以Facebook、Twitter、微博等为代表的应用吸引了大量活跃网络用户，社交网络信息呈现爆发式的增长。社交网络信息反映了用户的网络行为特征，通过对这些信息的研究，可以实现社会舆论监控、网络营销、股市预测等。社交网络信息的重要价值在于实时性，如何快速、准确、有效地获取目标信息非常重要。但社交网络属于Deep Web的专有网络［1］，信息量大、主题性强，传统搜索引擎无法索引这些Deep Web页面，只有通过网站提供的查询接口或登录网站才能访问其信息，这增加了获取社交网络信息的难度。

目前国外有关社交网络数据采集模型的研究较少，对社交网络的研究主要集中在社会网络分析领域。国内社交网络平台的数据采集技术研究有一定成果，如文献［2］提出并实现一种利用新浪微博应用程序接口(Application Programming Interface，API)和网络数据流相结合的方式采集数据，文献［3］利用人人网开发平台提供的API实现数据采集，并通过WebBrowser和HttpFox监测信息交互时的数据包，实现动态获取Ajax页面信息等。

本文采用模拟登录技术，利用社交平台账户获取平台访问权限，通过设置初始任务集对目标信息进行定向获取，避免请求不相关的信息页面，既保证了信息的实时性，又提高了信息获取效率。……