基于Hadoop技术的挖泥船大数据平台架构研究

朱逸峰，苏贞，叶树霞

（江苏科技大学电子信息学院，江苏 镇江 212003）

疏浚装备越来越发展成为大国角力，是提升远海岛礁建设、海洋维权、港口航道、填海造陆和海洋工程建设能力的国之重器，更是贯彻落实国家“交通强国”、“海洋强国战略”和“一带一路”倡议的重要保障[1]。疏浚装备的升级使得挖泥船疏浚作业数据呈现爆炸式地增长，存储在计算机内的疏浚数据量日益庞大。来自船载服务器与岸端船舶管理平台中存储的海量历史数据，数据量可达数TB，甚至PB，如何高效存储、提取和处理这些宝贵的疏浚数据成为了疏浚大数据分析亟待解决的问题，目前对于船舶大数据的应用分析还在探索阶段，海量施工数据没有得到有效的分析和利用。我国作为疏浚大国，急需在疏浚大数据分析方面取得进展，为安全、高效和智能的疏浚提供支持，通过搭建大数据平台实现疏浚作业在线分析与决策，可有效解决因作业环境复杂和操耙手经验不足导致的疏浚效率不高等问题。

1 现状分析

疏浚行业飞速发展，挖泥船数据采集技术日益先进，使得挖泥船疏浚作业数据呈现爆炸式地增长。疏浚船舶上搭载的DTPM模块、SCADA监测模块、AMS报警模块、AIS识别模块和电子海图模块，在每日挖泥船施工时所采集的数据量非常之大，类型非常之多；这些挖泥船所采集的数据存储在挖泥船的船载服务器及各个航道局的服务器之中，这些服务器大多数仍使用传统的关系型数据库对数据进行存储[2]。……