抽取自媒体新闻热词的技术实现

叶宇翔

摘要：通过基于Python语言的网络爬虫对“今日头条”、“一點资讯”的热点推送新闻标题进行抓取，使用基于Python的中文分词工具对新闻标题数据进行分词统计处理。为了高效获取数据，对不同的网站使用不同的爬虫技术，在为期一个月的时间内对“今日头条”等自媒体新闻网抓取近万条热点新闻标题，在对数据进行分词统计及关键词提取后成功获取当月新闻中的热词。

关键词：网络爬虫；中文分词；自媒体；新闻传播；关键词

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）17-0014-03

Abstract：Through the Python-based web crawler the Python-based Chinese word segmentation tool to capture the headline data of “www.toutiao.com” and “www.yidianzixun.com”. In order to efficiently obtain data， different spider technologies are used for different websites， and nearly 10，000 hot news headlines were crawled on the “www.toutiao.com” and other self-media news networks for a period of one month， and word segmentation statistics and keywords are used for the data. After the extraction， the hot words in the news of the current month were successfully obtained.

Key words： web crawler； Chinese word segmentation； media； news； keyword

在这个信息“大爆炸”的大数据时代，自媒体已成为网民最重要的阅读渠道，通过自媒体进行内容创业也是热门创业方向，大量企业、事业单位也在自媒体平台投入资源。自媒体文章的标题至关重要。面对每天海量的推送，标题是否讨喜决定了网民会不会阅读一篇文章；同样，对于内容创作者，引人注目的标题也是日常工作的重难点。

为了获得当月新闻热词，将运用基于Python语言的“网络爬虫”和“中文切词”两种技术。网络爬虫是一种用来自动浏览万维网的网络机器人。面对不同的网站以及多种多样的反爬虫技术，需要使用针对性的方法对所需数据进行高效的抓取，如面对动态加载的网页，使用模拟发送请求或使用Selenium模拟用户操作的方法抓取数据。中文切词是分析中文文本的必要步骤，只有应用良好的切词算法，数据才能被统计工具处理。此次研究采用著名的基于Python的Jieba分词工具。……