软件定义网络中基于Q-学习的负载均衡算法*

王炜发，张大明，刘堃钤，柯 峰，冯穗力

(1.华南理工大学 电子与信息学院，广州 510641；2.中国电子科技集团公司第七研究所，广州 510310)

0 引 言

随着互联网应用的进一步发展，越来越多的新业务带来了难以估计的数据洪流，现有的网络架构已经无法满足用户日益增长的需求[1]，如何提高网络的利用率成为一个迫在眉睫的问题。

传统网络是一种建立于TCP/IP协议[2]基础之上的网络架构，其目的是保证端到端的数据传输，没有考虑网络的整体情况[1]，容易出现丢包、链路拥塞等问题。此外，由于厂商之间没有统一的开发标准，网络灵活性大大降低，技术的发展也随之受到限制。

软件定义网络(Software Defined Network,SDN)起源于2006年斯坦福大学的Clean Slate课题，并在2009年由Nick Mckeown教授正式提出[3]。基于OpenFlow的软件定义网络是一种新型的网络架构，通过分离控制层和数据层的方式实现了两者的完全解耦，使灵活性得到了极大的提高。同时，SDN具有开放的接口和网络可编程性，可以按照需求定制服务和应用。

链路负载均衡技术[4]是当今网络的一项关键性技术，可以增加网络吞吐量，提升网络性能，并且可以把流量均匀地分配到各个链路，避免网络拥塞。文献[5]提出的算法利用SDN转发平面的交换机,通过预定规则匹配来进行数据转发，使用客户端的IP地址，将其地址前缀作为最小规则集，然后交换机可以根据制定好的规则进行数据转发。文献[6]提出的DLB算法采用了贪心策略，记录所有经过的链路利用率，再进行对比，筛选出利用率最低的一条链路。……