宽带集群异地容灾应用技术研究

张松轶 李飞 李勇

摘要：介绍了宽带集群在行业专网中的应用发展情况，分析了宽带集群异地容灾的应用需求及实际工程中需要解决的技术问题，提出了宽带集群双中心异地容灾的系统总体设计方案，描述了方案中的关键技术及具体实现方案并进行了测试。测试结果表明，宽带集群异地容灾应用方案在传输稳定性、延迟性、丢包率及中心间切换性能上均能表现出较好的性能，验证了设计方案的可行性。

关键词：宽带集群；异地容灾；主备冗余；接口冗余

中图分类号：TP393文献标志码：A文章编号：1008-1739（2019）05-66-4

0引言

近年来，随着通信技术的高速发展，专网系统的宽带化已经成为趋势。作为无线专网通信的主要组成部分，数字集群通信向宽带化演进也势在必行。我国从2014年开始制定的“基于LTE技术的宽带集群通信（B-TrunC）系统”系列标准是国际上首个支持语音组呼、视频组呼及多媒体集群调度等集群业务的宽带集群通信标准[1]。近年来，宽带集群产业得到了很大的发展，技术及产业链日趋成熟，也被越来越多的行业专网用户所接受和采用[2]。与此同时，在宽带集群网络中，行业用户对于除了传统语音业务外的视频业务、高速数据业务以及组网能力、安全性和可靠性等要求也越来越高。双中心宽带集群组网并实现异地容灾应用就是针对这些要求，实现更灵活可靠的宽带集群组网，保障网络整体高可靠性和高可用性的技术方案，对于提升宽带集群规模组网能力、改善用户使用体验具有很大意义。

1宽带集群及需求分析

1.1 B-TrunC宽带集群

在集群通信向着系统IP化、数据宽带化、终端多模化和业务多样化方向发展的过程中，行业用户在利用集群通信系统进行指挥调度时，不仅要“听得到”，还要“看得见、看得清”，这就需要集群系统能够支持语音、数据、图像和视频等多种业务的不同传输速率，我国自主知识产權的B-TrunC宽带集群通信标准无疑满足了上述要求。B-TrunC宽带集群采用LTE技术作为技术基础，统一了集群相关技术体制和标准，拓宽了传统窄带语音的业务范畴[3]。

B-TrunC宽带集群的主要技术优势有：

①业务功能丰富：除传统语音、短数据等传统集群业务外，还支持视频单呼、组呼、推送和回传等多媒体业务，同时可以支持较强的数据业务和定位业务，这是宽带集群得到快速发展的最大优势；②低时延：扁平网络结构网元节点少，数据传输时延≤10 ms、单呼建立时间≤480 ms，组呼建立时间≤280 ms，话权建立时间≤180 ms，连接态切换时延≤80 ms；③高数据传输速率：在20 MHz工作带宽下能够提供最高下行100 Mbps，上行50 Mbps的峰值速率；④拥有完善的鉴权机制：支持集群组呼空口加密、端到端加密和完整性保护，能够较好地满足行业专网对于安全性的要求；⑤高速移动性：采用频偏补偿机制，有效地克服多普勒效应，支持350 km/h的高速移动性，这一优势在轨道交通等对移动性有较高要求的行业中体现得比较明显[4]。

典型的B-TrunC宽带集群系统架构如图1所示。

1.2宽带集群异地容灾需求分析

在城市轨道交通、机场或能源等领域，宽带集群系统常用于生产调度人员（列车控制中心、地勤调度中心等）与移动用户（列车司机、地勤人员和生产作业人员）之间进行语音指挥、生产数据传输或多媒体调度，为保证安全生产、提高生产效率和管理水平，改善生产服务质量提供重要保证[5-6]。在此情况下，实现系统的双中心异地容灾，保障不同生产业务的通信畅通，保证整个宽带集群系统的安全可靠性就尤为重要。业务对于宽带集群异地容灾业务指标要求如表1所示。

2需要解决的问题

宽带集群异地容灾应用设计需要解决如下几个技术问题。

①系统整体冗余设计：由于宽带集群系统中还经常承载其他生产业务，为了保障系统应用的高可靠性，除系统采用异地容灾设计外，还需在系统控制中心、链路等多个方面采用设备热冗余乃至A/B网整体冗余设计[7]；

②双中心间的实时数据同步：异地容灾部署需要保证2个异地中心之间数据同步的实时性，保证单中心故障不会造成整个系统的数据紊乱，从而导致系统不可用，此问题是容灾系统设计的关键问题；

③系统高可用性设计：考虑到控制中心整体切换的影响面和操作便利性，系统设计还需设计防止系统单点故障导致控制中心切换的机制。

3总体设计

宽带集群双中心异地容灾设计采用双交换控制中心配置，分别在不同地点进行部署，供电、传输和环境等系统均独立配置，避免出现互相影响情况，实现异地容灾需求。双中心异地容灾系统原理框图如图2所示。

2个独立的集群中心控制器（集群核心网）以互为镜像的主备方式工作，2个控制中心及系统内全部基站通过传输网络实现互联互通。当主用控制中心发生严重故障退出服务时，全线基站可以切到另一个控制中心，无线基站通过这2条冗余链路分别连接中心，实现异地容灾。2套控制中心之间存在3条传输链路：1条链路负责主备控制中心之间的数据冗余；另2条链路负责主备控制中心及系统基站的传输冗余到主备控制中心。

4关键技术

宽带集群的双中心异地容灾应用中关键技术包括：

（1）中心设备冗余设计

异地容灾主要借助HA高可用多节点群集中间件来实现，HA中间件可实现静态配置及动态呼叫数据的双向同步，并能实现不同节点间状态裁决及切换控制等功能。

主用控制中心与备用控制中心的集群中心控制器（集群核心网）实现了设备级冗余，2套设备同时运行，互为备份。集群控制器内部的双处理板间实现板卡级冗余，当单处理板故障时，另一块处理板可以实时接替工作，动态业务数据双向实时同步。

当主用控制中心的集群控制器2块处理板均发生故障后，HA中间件可立即感知到，这时，在备用控制中心的集群控制器会根据同步过来的动态数据建立资源并接管业务；系统内的各个基站将根据链路状态探测，将业务倒切到另外一个中心的集群控制器上，反之亦然。

集群控制器与控制中心核心交换机之间采用交叉连接冗余。而主备控制中心之间容灾链路中断时，只会影响主备控制中心之间的容灾通信，由于主备用控制中心的调度台、服务器等业务终端设备是冗余配置的，并不会影响主用控制中心的调度业务，不会导致控制中心切换。当容灾冗余链路恢复后，这些设备的业务能够自动恢复。

（2）集群基站的双归属

系统基站通过S1-Flex机制同时与主用、备用控制中心的集群控制器建立连接，S1-Flex允许一个基站连接到多个集群核心网中MME/SGW池，从而实现集群基站业务连接的双归属。

此外各个基站到主备控制中心的通信传输链路采用双环网方式。当一个传输环网出现故障时，业务能够切换到另外一个传输环网上。基站具有2个网络端口，当基站出现主用网口故障，仅该基站会切换传输通道，不会影响该基站业务，也不会引起控制中心倒切。

（3）主备中心的数据同步设计

集群控制器的内部软件分为DSS数据同步模块、HA高可用性模块及APP应用软件模块3部分，各部分的主要功能用处如下：

①DSS模塊，所有DSS会以软件集群的形式工作，其内部通过协议实现数据的强一致性，DSS通过提供数据node的形式实现数据同步；②HA中间件模块，系统中只有一个HA处于主用状态，其他全部备用，通过HA来进行状态裁决；③APP模块，为宽带集群系统的核心控制软件，包括：eMME，eHSS，TCF，xGW等核心网功能。

软件在数据处理过程中的数据同步设计如图3所示。

①主用控制中心的APP开始冗余数据，将发送冗余请求到HA，HA将向DSS的数据槽中写数据。随后DSS开始进行数据同步，数据槽中的数据将会刷新到所有中心集群控制器的DSS中。

②备用控制中心的DSS将会通知HA数据槽中有数据刷新，HA随后会从中读取数据，将冗余数据发送给对应的APP。

③APP将开始恢复冗余数据，随后向HA发送冗余成功的指示，HA反馈冗余数据结果。

④主用控制中心的DSS将获取此次冗余数据并成功告知HA。

5实验结果

为了验证宽带集群双中心异地容灾整体设计方案是否合理可行，通过模拟某城市轨道交通项目部分应用场景，使用TD-LTE宽带集群产品搭建了测试环境，进行性能测试。测试设备如表2所示，1套宽带集群系统主要包含了2套集群核心网、核心/容灾交换机共3套、5个基站、调度台1台和LTE集群终端10台。

测试环境拓扑如图4所示。在这个测试环境中，模拟主备用控制中心通过容灾交换机互联，打通冗余数据链路，实现核心网数据的冗余。主备用控制中心的接入层为核心交换机并实现交换机互联，实现基站到主备用控制中心的双链路连接。

系统测试包括业务建立时延性能测试和系统切换时延性能测试2部分。其中，业务实验性能测试参考B-TrunC标准，选取单呼建立、组呼建立和话权申请3个指标进行测试，验证在该组网条件下系统业务性能情况。系统切换时延性能测试通过设备断电方式模拟设备异常故障，记录在异常故障情况下系统倒切时延情况。

6测试结果

经过在测试环境中的多次性能测试，整理结果记录如表3、表4所示。

通过以上测试数据可以看到，系统测试满足B-TrunC系统关于业务建立时延的性能要求。通过对丢包率的统计，能够反映传输过程对音视频数据的影响，通常情况下音频丢包率在4%以内，视频丢包率在2%以内，对音视频的效果没有明显的影响。通过以上测试数据表明，集群语音和视频业务数据通过LTE承载进行传输，可靠性较好，保障了音视频业务的效果。系统倒切时延性能测试如表5所示。

通过以上测试数据可以看到，当系统设备异地容灾切换后，系统会有短暂业务恢复时延，这是由于为防止系统产生乒乓切换问题，系统故障检测需要一定时间；在系统切换完成后，需要重新建立连接和恢复业务的过程。业务恢复时延受故障产生时间点和检测周期的影响会有所不同。特定情况下通过网管设备进行的主动切换，切换时间较故障倒切时间更短，满足快速恢复业务要求。

在实际测试结果中可以看到采用异地容灾设计方案的宽带集群系统在数据传输稳定性、并发性、延迟性以及丢包率等性能指标及中心间切换性能上均表现出较好的性能，验证了设计方案的可行性。实际应用中，可以通过对部分检测及互锁机制的改进对系统性能做进一步的优化。

7结束语

随着宽带集群在行业专网应用中的快速发展，行业专网用户对于系统高可靠及高可用性要求日益提升。通过分析宽带集群异地容灾的需求，提出了双中心异地容灾的总体方案，对方案中的关键技术进行了阐述，并通过搭建模拟环境进行测试和验证。为宽带集群异地容灾的工程实现提供了依据。为了适应不同的应用场景和需要，需要不断进行功能的扩充和优化，故而对于宽带集群异地容灾技术的研究还需要进一步地深入。

参考文献

[1]张静.TD-LTE宽带数字集群通信系统研究[J].中国无线电， 2017（6）：36-38.

[2]王仑.LTE宽带集群专网的行业应用[J].移动通信，2014，38（1）：54-55.

[3]冯海亮，施玉海，刘海涛，等.基于TD-LTE数字集群的宽带无线专网架构及关键技术研究[J].廣播电视信息，2015（6）： 61-63.

[4]张东瑞，孙小婷.LTE宽带集群的系统架构及业务分析[J].数字技术与应用，2013（7）：22-23.

[5]马彦波，蒋国华.基于TD-LTE的信号与集群承载研究[J].计算机与网络，2018，44（13）：64-67.

[6]张婧.TD-LTE宽带集群技术在城市轨道交通中的应用[J].电子科技，2016，29（7）：120-123.

[7]戴克平，韩志永.基于TD-LTE技术的车地无线通信系统设计[J].无线电通信技术，2015，41（6）：6-9，31.