铁路数据通信网承载业务非对称路由解决方案

艾武

上海局铁路数据通信网由边缘路由器（PE）、用户边缘路由器（CE）、核心路由器（P）组成，在每个车站部署2台接入边缘路由器PE 01（主用）、PE 02（备用）。PE间采用光纤GE互联，不同业务通过不同VPN来隔离，各业务系统相互独立。2台PE与2台CE互联，形成“口”字型冗余组网［1］。用户侧CE01和CE02前端各有1台防火墙设备（Firewall 01，02），用于数据通信网与用户侧的安全域隔离，防火墙使用透明模式接入网络，不改变网络路由应用。在防火墙设置安全策略，保证网络安全。

全网采用多协议标签交换虚拟专用网络（MPLS/BGP VPN），自治域内部设备路由采用IS-IS协议，业务路由采用内部边界网关（IBGP）协议，VPN用户路由采用多协议-边界网关（MP-BGP）协议［2］。承载业务包括旅客服务信息系统（PSIS）、牵引供电（电力）远动系统（SCADA）和GPRS系统等。正常状态下，铁路数据通信网承载业务接入流量走向见图1。

PE与CE间使用静态路由，在PE侧配置业务地址，指向CE的静态VPN路由，并在MPLS/BGP VPN实例里引入静态路由［3］，实现各PE间业务路由的学习。下行业务流量走向根据IS-IS度量值参数（Metric）来进行BGP路由选路。正常业务流量走向为PE 03→P 01→PE 01→CE 01。

为防止业务侧接入交换机至CE发生单点失效问题，CE侧使用虚拟路由冗余协议（VRRP），对业务网关进行冗余保护。CE 01设备VRRP为主用（master）状态，监控上行互联链路状态，CE 02设备VRRP为备用（backup）状态。上行正常业务流量走向为CE 01→PE 01→P 01→PE 03。

这种网络易产生非对称路由，当铁路数据通信网组网方式发生变化或用户在CE侧进行业务主备切换时，可能导致业务中断。

1 问题分析

非对称路由是指发送和接收数据包时，分别使用了主机和目的地设备之间2条不同的路径。根据《铁路数据网编号规则及路由规范》，同一多自治系统（AS）域内路由器的业务路由策略应一致，不适用路由控制及过滤策略，因此铁路数据通信网侧PE路由器不对相关业务路由进行策略属性控制。当2台PE路由器发布相同业务网段的路由时，路由属性相同，对端PE设备根据IS-IS度量值参数（Metric）来进行BGP路由选路［4］。

当铁路数据通信网设备互联链路断开时，设备间Metric值将会发生变化，设备会重新进行路由选择，并最终产生非对称路由［4］。如图2所示，当边缘路由器（PE 01）至核心路由器（P 01）设备链路中断时，设备间会重新进行路由计算选择。上行流量走向为CE 01→PE 01→PE 02→P 02→PE 03，PE 03设备优先选择PE 02设备发布的路由，加入本地VPN路由表［5］，由于PE 02配置了业务网段的静态路由，业务下行流量走向为PE 03→P 02→PE 02→CE 02，上行流量和下行流量路径不一致，即形成非对称路由。

当铁路数据通信网新增边缘路由器PE时，设备间Metric值同样会发生变化，设备会重新进行路由选择，最终产生非对称路由。如图3所示，当PE 03与P 01之间新增PE 04设备后，PE 03设备优先选择PE 02设备发布的路由加入本地VPN路由表，业务下行回程流量则通过PE 03→P 02→PE 02→CE 02，由于用户侧CE设备无法感知数据网络的变化，上行流量为CE 01→PE 01→P 01→P 02→PE 03，上行流量和下行流量路径不一致，形成非对称路由。

图1 铁路数据通信网正常业务流量走向

图2 数据通信网网互联链路中断导致非对称路由

当铁路数据通信网PE设备和CE设备间存在非对称路由时，PE设备和CE设备间防火墙设备的状态检测机制会引起业务中断。以TCP（传输控制协议）业务流量为例，业务系统主机发送TCP SYN（同步序列编号）请求报文，经过CE 01-Firewall 01-PE 01发送至对方服务器，但对方服务器响应SYN+ACK（确认）报文需要通过PE 02-Firewall 02-CE 02返回业务主机。由于Firewall 02开启了TCP状态检测功能，只要检查不到既有生成的会话表后，就对报文进行丢弃，导致TCP三次握手无法正常建立，影响业务正常使用。

当用户侧CE设备与防火墙设备间链路中断时，VRRP协议触发主备倒换，最终产生非对称路由。如图4所示，当用户侧CE 01设备与Firewall 01设备间链路中断时，CE 01设备变为backup状态，CE 02设备变为master状态，上行业务流量走向切换为CE 02→PE 02→P 02→PE 03。由于PE设备至CE设备间使用静态路由协议，PE 01无法准确感知链路变化，此时PE 01与防火墙01间链路状态正常，静态路由不会发生变化，PE 01正常向外发布BGP VPN路由下行流量走向为PE 03→P 01→PE 01→CE 01，由于CE 01至Firewall 01互联链路中断，导致数据报文被丢弃。

2 优化思路

为解决非对称路由影响业务的问题，可采用以下优化方案。

1）关闭防火墙状态检测功能，使防火墙对SYN+ACK、icmp reply（Internet控制报文协议延时）等非首包的回应报文也能创建会话表，正常转发相应流量。此种方式仅能用于解决铁路数据通信网变化后，非对称路由导致的业务中断。

2）利用BFD（双向转发检测技术）、NQA（网络质量探测技术）对互联链路进行检测，并绑定静态路由［6］。当链路中断后，BFD、NQA会探测失效，从而联动PE路由器静态路由失效。该方式仅能解决用户侧CE设备至防火墙链路中断后，形成非对称路由导致的业务中断。

3）采用外部边界网关协议（EBGP）替代PE至CE设备间静态路由协议［7］。利用EBGP协议的邻居状态检测机制，可以自动检测故障状态下邻居关系，并自动撤销相关业务路由，可解决用户侧CE设备至防火墙链路中断后，形成非对称路由导致的业务中断；还可以利用EBGP协议中多出口区分（MED）属性，替代IS-IS协议下Metric参数值进行路由选路，解决铁路数据通信网网络变化后，非对称路由导致的业务中断。

图3 数据通信网新增PE设备导致非对称路由

图4 用户侧CE设备与防火墙互联链路中断导致非对称路由

3 优化实践

将PE-CE设备间路由协议改为EBGP协议，在CE 01设备边界网关协议（BGP）进程里配置MED属性为100，在CE 02设备BGP协议进程里配置MED属性为200。此时PE 01、PE 02设备将携带不同MED属性的MPLS/BGP VPN路由。对端PE 03设备会优先根据MED值来进行选路，而不再对IS-IS协议Metric值进行比较，最终选择将MED值较小的PE 01发布的路由加入路由表。当网络发生变化时，路由MED值属性不会发生变化，下行业务流量走向为PE 03→PE 01→CE 01，与上行流量走向一致，解决了铁路数据通信网非对称路由导致的业务中断问题。

EBGP协议邻居状态检测默认时长为180 s，BFD协议检测默认时长为300 ms，EBGP协议检测周期较长。同时在PE设备和CE设备的BGP进程下启用BFD功能。以图4为例，BFD协议检测到PE 01与CE 01设备间状态异常后，PE 01将与CE 01的BGP邻居状态变为空闲（idle）状态，同时向全网发布撤销相关VPN业务路由的信息。PE 03收到该信息后，从本地VPN路由表里删除PE 01发布的VPN业务路由，切换到由PE 02设备发布的VPN业务路由［8］。下行业务流量走向变为PE 03→PE 02→CE 02，上行业务流量为CE 02→PE 02→PE 03，上下行业务流量保持一致，解决了用户侧CE设备至防火墙链路中断后，非对称路由导致的业务中断。

4 结论

本文主要针对铁路数据通信网PE-CE互联链路增加防火墙组网方式下，非对称路由的优化，使用EBGP+BFD的方式，解决非对称路由产生的来回路径不一致问题，既能达到安全防火墙的应用效果，又能快速的进行冗余倒换，减少故障发生。建议逐步对现网设备进行优化改造，保障铁路承载业务系统更加安全、可靠、高效。