网络爬虫在科技文献检索中的应用

龙学磊 田萌 徐英 王虹

摘  要：科技文献检索贯穿于整个科研活动的生命周期，从科研项目的申请、立项，到方案的设计与实现，再到论文的撰写与结题验收，都离不开科技文献检索的支持，传统的科技文献检索方式往往效率低下且准确性不高。近些年，网络爬虫技术被广泛应用于互联网搜索引擎当中，可以按照预先设定好的规则自动地抓取特定网站信息。文章主要介绍了如何使用网络爬虫技术实现科技文献检索，从而大大提高科技文献检索效率及准确性，更好地为科研工作服务。

关键词：科技创新;文献检索;网络爬虫;Python;Selenium

中图分类号：TP391       文献标识码：A文章编号：2096-4706（2021）24-0150-03

Abstract： Scientific and technological literature retrieval runs through the whole life cycle of scientific research activities. From the application and establishment of scientific research projects， to the design and implementation of schemes， then to the writing and final acceptance of papers， it is inseparable from the support of scientific and technological literature retrieval. The traditional scientific and technological literature retrieval methods are often inefficient and inaccurate. In recent years， web crawler technology is widely used in Internet search engines， which can automatically grab specific website information according to preset rules. This paper mainly introduces how to use web crawler technology to realize scientific and technological literature retrieval， thus greatly improve the efficiency and accuracy of scientific and technological literature retrieval and better serve for the scientific research work.

Keywords： science and technology innovation; literature retrieval; web crawler; Python; Selenium

0  引  言

科研工作大致可以分为四个基本步骤，即科研选题、资料收集、研究试验、论文撰写。每一步都离不开科技文献检索的支持，如果能够掌握一种高效准确的科技文献检索方式，可以达到事半功倍的效果，确保科研工作顺利开展。

科技文献检索是以现代信息检索技术为核心，对科技文献进行深层次分析和利用的技术，可以使科研人员从繁重的搜索分析工作中解脱出来，从海量的信息中获得最想要的信息。

科技文献检索为科研人员的选题工作提供基础保障，如果检索一旦出现偏差将直接影响到科研项目的进度，甚至使整个科研项目走向失败。精准的科技文献检索，可以使科研人员快速、准确的获得自己所需的关键信息，大大节省搜集材料的时间，进而积极的推进整个科研项目进程[1]。……