周振勇 华信咨询设计研究院有限公司网络规划研究院副院长,总工程师
杨 华 中国移动通信集团浙江有限公司网络部网管中心运行质量部经理
当前,随着宽带中国战略的实施,宽带用户迅猛发展,各种互联网应用不断丰富,特别是各种OTT应用的出现,使互联网流量成倍增加,电信运营商为了应对上网流量的增长,需不断地对IP网络进行扩容,投资压力巨大,出现了流量快速增长但业务收入增长缓慢的“剪刀差”现象。为了实现业务转型,改变宽带业务收入主要依赖接入费用的局面,各电信运营商都提出了流量经营战略,希望通过对互联网流量的识别和应用,增加业务收入,而要实现互联网流量识别,DPI(Deep Packet Inspection,深度包检测)系统建设是基础。目前,各电信运营商都非常关注DPI系统的建设和部署,本文将结合工程实践,对DPI技术的基本原理、关键技术、分析能力、应用场景和部署方案等作分析和探讨。
DPI是指一种基于数据包的应用层流量检测和控制技术,针对数据包的不同层信息(如IP地址、应用层端口、应用层协议、净荷内容等)进行深度检测和分析,从而得到整个数据流或数据包的应用层信息,然后按照系统定义的策略对流量进行统计分析和控制。所谓“深度”是和普通的报文分析层次相比较而言的,“普通报文检测”仅分析IP包4层以下的内容,包括源地址、目的地址、源端口、目的端口以及协议类型,而DPI除了对前面的层次分析外,还增加了应用层分析,识别各种应用及其内容。DPI与传统业务识别技术的区别如图1所示。
(1)基于特征字的识别技术(见图2)
通过识别数据报文中的净荷特征来确定业务流所承载的应用。不同的应用通常会采用不同的协议,而各种协议都有其特殊的特征(除加密应用外),这些特征可能是特定的端口、字符串或者Bit序列。检测方式:固定位置特征匹配、可变位置特征匹配、多连接联合匹配、状态特征匹配。
图1 DPI与传统业务识别技术的区别示意图
图2 基于特征字的识别技术示意图
(2)交互式业务识别技术
首先识别出控制流,并根据控制流协议分析识别出业务流的端口或对端网关地址等信息,然后对业务流进行解析,从而识别出相应的业务流。目前,VoIP/FTP/网络游戏等业务普遍采用控制流与业务流分离的方式,通过控制流完成握手,协商出业务流的端口信息,然后进行信息流传输,业务流没有任何特征。
(3)行为模式识别技术
基于行为识别模型,根据用户已经实施的行为,判断用户正在进行的或者即将实施的动作。行为模式识别技术通常用于那些无法由协议本身判定的业务。在实施前,必须首先对终端的各种行为进行研究,并在此基础上建立起行为识别模型。如SPAM检测(垃圾邮件检测),从E-mail的内容看,垃圾邮件业务流与普通邮件业务流两者没有区别,只有进一步分析发送邮件的目的邮件地址数目、变化频率、源邮件地址数目、变化频率、邮件被拒绝的频率等参数,建立起行为识别模型,并以此分拣出垃圾邮件。
(1)并接流量控制(见图3)
采用数据包伪装技术将伪装的干扰数据包发到正在通信的TCP连接中,通过降低连接的传输速率或者切断连接以达到流量控制的目的。需要引入分光设备或镜像设备,并且需要占用网络设备的端口用于将干扰信息发送到互联网中。
图3 并接流量控制示意图
(2)串接流量控制(见图4)
图4 串接流量控制示意图
通过DPI识别技术对网络上各种类型的应用流量进行分类,并根据控制策略,将需要控制的应用流量数据包丢弃。其特点为:
如果允许电动设备按其“自然曲线”灵活运行,当流量每减小50%,则相当于额定功率减少12.5%(0.53)。工作效率将提高400%(=50%/12.5%)。实现该效率提升的条件是让泵和风机的压力-转速关系始终按“自然曲线”维持在较低转速的条件下。流量减小50%就相当于压力减小25%(0.52)。
●采用丢弃数据包、队列调度等方式,控制方式比并接方式直接,不占用额外的干扰接入端口。
●由于所有的网络数据流都要经过设备处理再进行转发,带来一定的处理延时,有可能形成处理瓶颈和单点故障。
●串接方式对设备的处理和转发性能要求高。
(1)对应用进行分析识别(见图5)
图5 基于应用的分析识别示意图
以应用为维度进行数据的分析、统计和呈现,用于网络规划和运行维护,获取现网流量模型、流量业务发展趋势等信息。
(2)对用户行为进行分析识别(见图6)
图6 基于用户行为的分析识别示意图
DPI具备基于流的分析识别能力,以用户对互联网的访问为维度进行分析,并输出用户对互联网的访问记录,进而分析用户的互联网访问行为和偏好。
(3)对流量流向进行分析(见图7)
分析研究网络流量构成和流量流向,对视频、云存储等大流量业务进行分析、预测和监测,提升流量预测的合理性,为网络建设提供更加详实的依据;针对应用的流量流向分析,能够进一步提升应用对网络流量影响的分析能力,可以与ICP的内容部署相结合,进行网络架构的优化;对网络的局部业务应用的组成和变化情况的分析,为支撑后续流量的架构优化和本地化提供参考。
DPI系统提供电信运营所需的各类统计分析数据,可应用于前端的市场策略制定、增值业务开发及后端的网络运维管理等。
DPI系统分为前台(链路侧采集部分)和后台(集中平台处理部分)两个层次。后台一般采用通用服务器,但前台设备差异性较大。DPI设备总体上有3种架构模式:
(1)服务器架构:采用协转分流设备及前置处理服务器,对链路流量进行分析和处理。绿网、傲天等厂家均采用这种架构。
(2)路由器架构:采用自有路由器平台架构开发DPI设备,如华为、中兴。
(3)硬件探针盒式架构:自行开发基于FPGA的DPI设备,如浩瀚。
图7 网络流量流向分析示意图
图8 DPI应用场景示意图
图9 DPI部署方案示意图
DPI部署位置比较灵活,可根据不同的需要在IP网中选择合适的位置(如国际、省际、城域网、IDC等出口)部署DPI设备。
IP网流量经营已成为各大电信运营商业务转型的重要方向,为了实现IP网流量经营,流量采集和分析是基础,而DPI系统部署则是实现流量采集和分析的主要手段。本文介绍了DPI的基本原理、关键技术和分析能力,并提出了DPI的应用场景和系统部署方案,可供相关技术人员参考。