张 琦, 张春平, 杨 志, 刘 铭
基于OPC框架的高效计算服务应用①
张 琦, 张春平, 杨 志, 刘 铭
(国家电网电力科学研究院,南京 210000)
大数据计算是当前云计算研究的热点之一. 在电力信息化、精益化的建设过程中, 业务复杂度不断提高, 数据量与日俱增, 这使得传统的数据加工性能日益劣化. 在复杂的业务场景下, 由于海量的电力数据, 使得数据指标加工计算的效率非常低下, 传统方式的加工任务经常耗时数个小时, 难以满足用户的体验要求. 为了解决这个问题, 全面提升数据指标加工任务效率, 基于对象化并行计算(Objectification Parallel Computing, OPC)框架实现了一种高效计算服务, OPC是分布式并行内存计算框架. 在OPC框架中, 大数据集被拆分成小数据集, 并分布式地存储在集群内存中. OPC计算任务借鉴了分而治之和归并树的思想, 将计算任务分成两个阶段: 本地计算任务和计算结果收集汇总. 计算任务基于本地计算数据进行计算, 得到本地计算结果, 然后将计算结果通过收集结点进行汇总合并, 最后得到最终结果. OPC框架技术应用在国家电网公司工程生产管理系统(PMS)中, 应用效果表明该技术稳定、可靠, 性能提升几十至数百倍, 可满足高效计算需求.
大数据; 高效计算; 对象化并行计算; 分布式
大数据计算是物联网和云计算的研究热点与挑战之一, 其目的是根据海量数据中相应的维度进行统计计算出相应指标信息[1]. 相比于传统的数据仓库应用, 大数据计算分析具有数据量大……