医药科研信息网络抓取方法研究

◆曾 凯

（天津市医药科学研究所联合办 天津 300020）

医药科研信息网络抓取方法研究

◆曾 凯

（天津市医药科学研究所联合办 天津 300020）

本文介绍了医药科研信息抓取系统中用到的数据抓取方法。为了高效地抓取网页内容，该方法采用带偏好的宽度优先遍历方式访问网页，将待访问的网址存放于高效的内存数据库BerKeley DB中，用布隆过滤器过滤已经抓取过的网址。通过Delphi xe7开发系统提供的WebBrowser控件和微软公司的MSHTML组件获取网页文本，将待提取数据文本划分成数据行，将数据行及相应的链接存入到对象数组中，用关键字在对象数组中匹配搜索时可实现精确和模糊搜索两种方式。并利用计算机的多线程技术提高网页抓取速度，利用多核优势带来的并行编程技术提高对网页内容中关键字的搜索速度。以万方医学网和中国知网为实际案例，阐述了数据抓取过程及结果，并提供了简化的Delphi xe7示例程序，结果表明，该方法能有效方便地应用于医药科研信息的采集。

网页内容识别；数据采集；宽度优先遍历算法；内存数据库；布隆过滤器；多线程技术；多核并行编程技术

0 引言

在医药领域中从事科研工作，经常需要从互联网上获取大量的医学及医药方面的信息，服务科研工作。这些信息涉及范围广、更新快，需要科研人员经常从众多的网站中查找，费时费力。如果借助计算机技术，根据他们提供的关键词在其关注的科研网站上自动搜寻相关信息，自动抓取……