基于爬虫技术和语义分析的网络舆情采集系统设计

赵瑞丹，朱旭

（西安航空职业技术学院，陕西西安 710089）

如今，互联网已成为人们生活中不可或缺的一部分，特别是对于年轻一代的高校学生，其为人际交往以及资源获取提供了重要渠道。但由于网络的开放性与包容性，使得其中积极和负面的舆论信息均能够在互联网中迅速传播，容易在辨别能力差的青年学生中造成较大影响[1-3]。网络舆情具有发酵时间短、传播速度快、影响范围大等特点[4]。舆情尤其是负面舆情发生后，通常由于学校管理部门未能及时发现与处理，造成舆情持续发酵和扩散，引起广大学生的质疑及不满，从而产生危机。为此，亟需建立一套能够对网络舆情进行实时监控与采集分析的智能化系统。

针对上述提到的问题以及传统舆情采集系统在采集效率与质量上存在的不足，文中建立了基于爬虫技术和语义分析的网络舆情采集系统。该系统选用了效率更高的主题网络爬虫和更符合设计需求的广度优先搜索策略，同时通过引入语义分析技术更优地保证采集到的舆情信息质量。系统性能测试结果表明，该系统能够较好地进行互联网中舆情信息的采集和数据存储，为进一步进行舆情信息的分析处理提供了重要基础。

1 网络爬虫技术

网络爬虫（Web crawler）是根据某种规则对互联网上统一资源定位符（Uniform Resource Locator，URL）进行抓取的程序或脚本[5]。作为有效获取网页信息的工具，网络爬虫能够为网络舆情采集系统的设计提供关键的基础数据及数据处理操作平台。……