顾 鑫 程淑玲
(1.武汉邮电科学研究院 武汉 430074)
(2.烽火通信科技股份有限公司 武汉 430074)
近些年,随着物联网、大数据、云计算等技术的快速发展,需要分析、处理和传输的信息量飞速增长[1]。将物联网技术应用于人井、光交箱、室外柜、电子锁等物联设施可以大大地提高对这些设施的管理效率[2]。我们的基础设施物联管理系统就是在这样的背景下建立的一个平台,旨在借助于这些技术对物联设施的运行维护提供更准确的实时检测、指标分析及其他的一些服务,保障物联设施安全、稳定、高效地运行。
本系统作为一个管理十万级物联网设施的大数据平台,消息中间件起着关键的作用[3]。设施上报的原始数据不直接进入处理程序,而是先存入Kafka消息队列中。基于消息队列,独立的节点无需紧耦合工作,能够以异步的方式交换信息,从而可以提高系统的灵活性[4]。虽然消息中间件的应用能带来收益,但它造成的负面影响也是需要我们关注的。在大规模的分布式系统中,消息中间件的表现已经成为制约系统整体性能的重要瓶颈[5],为了更高效地利用Kafka消息中间件,降低其造成的延时和资源消耗是十分有必要的。
Kafka是一个分布式的、基于发布/订阅的开源消息系统,广泛地用于各种消息交换系统、实时数据流应用和大数据平台中[6]。它的数据组织是按主题来划分的,每个主题就是一个消息流[7]。主题又被分解成多个分区,同时也被复制多份。……