基于大数据技术的气象算法并行化研究

李永生，曾 沁，2，杨玉红，陈 晋

(1.广东省气象探测数据中心，广东广州 510080; 2.广东省气象台，广东广州 510080; 3.同济大学数学系，上海 200082)

基于大数据技术的气象算法并行化研究

李永生1，曾 沁1，2，杨玉红1，陈 晋3

(1.广东省气象探测数据中心，广东广州 510080; 2.广东省气象台，广东广州 510080; 3.同济大学数学系，上海 200082)

在气象数值预报解释应用业务中，传统数值算法的应用呈现逐步增加的趋势，但是随着算法输入数据种类和数据量的增加导致算法的完成时间大幅增长，甚至出现了算法完成时间性能瓶颈。为了突破算法时间上的性能瓶颈，基于OpenCV算法库，实现了多元逐步回归和卡尔曼滤波算法的执行模块，采用Map-Reduce计算框架设计和实现了多站点输入数据分割的并行化执行模块;规范了算法输入和输出的数据格式，设计了并行算法的Web服务流程以及实现了基于Rest Web Service的算法访问接口。业务应用实验测试表明，并行算法能够很好地满足气象业务实际需求。

大数据分析技术;并行化;气象数值算法;Web服务

0 引言

在气象预报领域将多元逐步回归、卡尔曼滤波等数值算法引入到对数值预报解释中已得到广泛的应用，这是对数值预报这一综合性的结果运用动力学、统计学技术再一次进行加工、修正，使预报精度得到进一步提高，以达到有价值的要素预报水平。实践证明:通过数值预报的解释应用，确实可以使要素预报比客观数值预报模式直接输出的预报有明显提高［1］。陆如华等从气象应用……