基于强化学习的移动视频流业务码率自适应算法研究进展

杜丽娜，卓力，杨硕，李嘉锋，张菁

（1.北京工业大学计算智能与智能系统北京市重点实验室，北京 100124；2.北京工业大学信息学部，北京 100124）

1 引言

随着移动通信技术和移动智能终端的迅猛发展，移动互联网用户数量以及移动视频业务流量呈指数级增长趋势。思科公司的报告预测，到2022 年，视频业务流量将占据全球互联网数据流量的82%[1]。与传统互联网在线视频业务相比，移动环境下的视频业务呈现出空间移动性、时间碎片性以及社交关联性等新的复杂特性。面向复杂的移动环境以及移动视频业务所呈现出的新特性，如何在有限的网络资源条件下保障移动视频业务的用户体验质量（QoE,quality of experience），成为当下学术界和工业界共同关注的热点课题。

QoE 是指用户对设备、网络、系统、应用或业务的质量和性能的整体主观感受[2]，反映了用户在接受服务时的满意或舒适程度。国际电信联盟[3]对QoE 的定义为“用户使用一项应用或服务时感到的快乐或烦恼程度”。

目前的移动视频流媒体业务普遍采用基于HTTP 的自适应流媒体（HAS,HTTP adaptive streaming）技术进行传输。HAS 技术可以根据网络的时变、波动特性以及客户端的播放状态自适应调整视频码率，有效提高用户的质量体验。2012 年，MPEG 和3GPP 联合推出了基于HTTP 的动态自适应流媒体（DASH,dynamic adaptive streaming over HTTP）国际标准[4]，以满足移动流媒体业务日益发展的需求。除此之外，工业界也推出了各种HAS协议，如Adobe公司推出了HTTP动态流媒体（HDS,HTTP dynamic streaming）[5]，苹果公司推出了HLS（HTTP live streaming）[6]，微软公司推出了MSS（Microsoft smooth streaming）[7]等。由于HAS 技术具有兼容性好、扩展性强、易部署等优点，目前已被广泛应用于各种移动流媒体业务系统中。……