面向自然语言处理的流式计算框架

陈珉 彭鸾 李钊

摘要：近年来，自媒体发展速度非常迅猛，传统媒体积极拥抱新媒体，加速媒体深度融合步伐。媒体生产数据、互联网发布的数据，每天有海量的数据需要分析处理，用于热点新闻发现、新闻选题评价、传播效果分析等应用场景。传统的数据分析框架已经不能满足用户实时数据分析和查询的需求。本文提出一种能够适应用户连续处理分析海量文本数据的框架，具有低延时、可扩展的特点。

关键词：自然语言处理；流式计算；传统媒体

一、背景

当前，大数据产业深刻改变着人类的生产和生活。地方媒体详细记录了地区发展变迁的历程，存有大量的文字、图片、视频等历史资料。同时，在互联网上每天有海量的新闻产品发布。将这些沉睡的、分散的数据有效汇聚、管理、挖掘、应用。在支撑媒体产品生产同时，服务于媒体自身的精准营销，还可以高效便捷的为政府机构、社会企业与民众提供资料网络查询、城市资讯综合服务等。逐步实现传统媒体和新媒体的融合发展，变“内容为王”为“信息服务为王”。

二、面向自然语言处理的流式计算框架设计

本文选用JStorm框架为流式计算平台的基础，完整的面向自然语言处理的流式计算框架，包含数据源模块、预处理模块、实时计算模块、存储模块以及反压机制。

（1）数据源模块

数据源模块的作用是将数据不断的送入JStorm中。本框架中采用的方法是接收用户提交TXT、WORD、PDF、XML格式的文件，通过不同格式的文件解析器，解析文件中的内容信息。……