张海峰
摘要:铁路企业是信息化应用的重要领域,引入了车站列车预告系统、车辆设备运行维护系统、运费收缴系统等,这些信息系统的运行积累了海量的数据,常规的检索和处理模式慢,已经无法适应大数据时代操作需求。因此为了解决这个问题,本人在铁路企业大数据搜索引擎设计时引入了Elasticsearch技术,实现了铁路企业大数据快速检索、数据索引、全文搜索,提高了铁路大数据的应用成效,具有重要的作用和意义。
1引言
随着互联网、大数据、云计算等计算机技术的快速发展,铁路企业已经引入了许多高精尖设备,构建了强大的运输网络。中国铁路已建立车务,机务,工务,电务,车辆等各专业安全监测/监控系统数十个,产生了PB级规模的各类监控/监测数据。该网络能够实时的采集铁路企业设备数据资源,监控各个系统的实时运行状态,及时的发现网络中存在的故障,计算每个单位的实时运输效率。运输网络运行产生了海量的数据资源,传统的信息处理方法已经无法使用,急需引入更加先进的信息搜索技术Elasticsearch,构建一个分布式的数据搜索引擎,进一步改进铁路企业数据检索的性能。为实现海量铁路文本的分布式存储,检索和分析,推动领先的大数据分析技术在铁路运输领域的应用,本文主要对铁路运输文本大数据分析关键技术进行了研究和应用。
2关键技术
ElasticSearch是一个能够提供高并发、易扩展、高可用的分布式搜索引擎,能够为系统提供一个RESTful易于查询和共享的接口,成为了企业级大数据解决方案的关键工具。……