基于Hadoop的遥感影像节能存储策略

冶鑫晨 于炯 钱育蓉

摘 要：随着相关技术的进步，在轨运行的遥感卫星的数量逐步增加，运行时间增长，卫星所携带设备的成像分辨率不断提高，随之而产生的遥感数据急剧增长，原有的单机运行的GIS（Geographical Information System，地理信息系统）已经无法满足需求。当前的研究显示分布式的存储方案已经成为未来海量遥感数据存储的必然选择，而面对随着数据量增加而不断扩展的分布式节点，分布式存储带来的能耗问题变得日益突出。

【关键词】Hadoop 遥感影像

1 引言

数据存储带来的能耗问题一直是各国的研究者关注的重点，目前针对云存储平台的节能研究也广泛存在，文献指出目前云平台的节能研究多从硬件节能和软件节能两个方面来实现的。硬件层次上主要通过DVFS等技术通过根据运行在芯片上的程序对计算能力需求，动态的对芯片的运行频率和电压进行调节来达到节能的目的。软件层次上的节能研究更加多层次，对于类似Hadoop这样的通用的分布式架构，通常使用数据放置策略和节点调度策略相配合来实现节能。目前较少有研究针对数据内在特性优化数据放置策略的研究，在遥感影像数据这样单一数据源产生的海量数据存储中，针对数据内在特性进行优化数据放置策略是解决云存储能耗问题的新思路和方法。

2 基于遥感影像特性的HDFS数据放置算法

本文的工作目标是在hadoop平台上对HDFS分布式文件系统的数据放置策略进行更改，根据卫星遥感影像数据特性优化存储策略，在系统负载较低时关闭部分节点达到节能的目的。……