基于HBase的大数据架构下负载平衡技术

雷 鸣，姜罕盛，武国良，赵玉娟，梁 健

(天津市气象局信息中心，天津 300074)

0 引 言

随着大数据技术的发展，数据规模在网络中不断增加，使得负载均衡问题日益突出[1-6]。而负载均衡技术是伴随集群而出现的，其定义是指所用服务器平均资源的利用率达到均衡。透过负载均衡技术完成资源利用率的平衡，即：全部物理服务器的内存利用率、CPU、网络宽带等的利用率基本上是一致的[7]。因为负载均衡是集群效率提高的关键，往往会影响整个集群的性能。与此同时，大数据所具有的计算数据的巨大性与灵活性等，也常常增加了管理难度[8-10]。因此，在实际当中，必须采取有效而合理的资源调度策略，并调整负载均衡来充分保障云计算的高性能和高可靠性[11]。

目前，负载均衡技术实现的案例有很多，如：孙兰芳等人[12]利用服务质量降价、准入控制等方法达到动态负载均衡，然而其处理性能较差，仅能处理在某算子所处节点可处理的窗口范围；Ghadah等人[13]负载均衡的实现是透过利用集群节点上的分布算子提供的伸缩性实现的。但是该方法在数据规模和类型不断增加的情况下，会出现处理能力不足的问题，最终会导致数据流拥塞的问题；李梓杨等人[14]利用深度优先法，将数据流节点看作小的单元，从源节点向上发送到更高层节点，从首层节点再继续转发到目的节点，最终利用贪心技术选取最空闲链路。但该方法仅适合规模较小的体系，因为它忽略了整个体系的负载分布。……