KPI与业务体验相结合的移动宽带客户感知评价体系研究

李治国

（中国联合网络通信有限公司河南省分公司，河南 郑州 450008）

KPI与业务体验相结合的移动宽带客户感知评价体系研究

李治国

（中国联合网络通信有限公司河南省分公司，河南 郑州 450008）

从宽带移动互联网时代承载的业务、用户体验入手，分别对基于语音的网络质量评价体系、基于用户业务体验的评价体系进行分析。结合运营商快速定位网络问题，确保用户良好体验的实际需要，论证了在分析和定位问题时，网络质量指标和业务体验指标均不可或缺的观点。提出了构建基于KPI和业务体验相结合的移动宽带客户感知综合评价体系的建议并在实践中进行应用。

移动宽带 性能关键指标 关键质量指标 用户体验指标

1 引言

随着宽带无线接入技术和移动终端技术的飞速发展，手机上网已成为人们日常生活不可或缺的一部分。根据中国互联网信息中心（CNNIC）第35次中国互联网发展统计报告显示：截止2014年年底，全国互联网用户达6.49亿，其中手机网民用户达到5.57亿，占比高达85.8%，即时通信、旅游预订、网购、支付等应用稳步提升，由此对运营商带来了巨大的网络压力。

然而，移动互联网用户时常会出现在网络信号满格、数据业务链接显示正常的情况下无法打开网页、流媒体业务卡顿、下载文件停滞等现象，从而产生对网络的抱怨和投诉。而运营商接到类似投诉后，从现有的网络侧指标和设备告警方面又未发现异常，从而对该类问题的处理或提前发现显得束手无策。

所以，构建移动宽带客户感知的分析手段和评价体系对于运营商而言就显得尤为重要和迫切了。

2 移动宽带和用户感知的定位

2.1 移动宽带的概念

移动宽带就是指宽带移动互联网，由于2G网络PS业务的受限，移动宽带仅指3G和4G的移动网络，而用户的体验也主要针对3G/4G手机用户在使用互联网过程中的感受。

语音、网页浏览、流媒体业务、邮件、文件访问等五大类典型业务是业内普遍认为的移动宽带业务。

2.2 移动网客户感知的概念

用户感知是用户的实际体验，通俗来讲就是人们使用移动业务过程中的心理感受。常用的用于量化用户体验的指标有以下几个：

（1）KQI（Key Quality Indicators）：移动网络的关键质量指标。业内提出QoS（服务质量）的概念是对约定业务或应用服务的表征描述，如时延、带宽、连续性、抖动等。而最为常见的就是针对使用业务或应用的业务质量作为评价体验的一种和网络指标对应的指标体系。KQI其实是一组可以被测量和监控的QoS参数，是一种通过网络侧进行量化的“KPI”。

（2）QoE（Quality of Experience）：指用户对设备、网络和系统、应用或业务的质量和性能（包括有效性和可用性等方面）的综合主观感受，是通过业务应用的舒适度进行定义的。QoE是用户对QoS的主观度量，是用户对某种业务/应用的主观感觉，如语音图像的清晰度和连续性、收发文件的快慢等。

（3）CEI（Customer Experience Indicators）：实时测量用户体验以及定义用户体验的指标，是反映QoE级别的关键指标，着眼点是用户，与用户行为相关。KQI仅仅是业务层面的关键指标，是不同业务/应用的质量参数，针对CEI的分析是提升移动宽带客户实际感知和优质体验的关键因素。

3 建立基于语音的网络质量综合评价体系

提升网络质量是基于网络侧的运行质量指标进行分析，对异常问题进行判定和处理，从而达到提升网络性能的目的。通常围绕KPI、用户投诉、DT、CQT等开展。

（1）KPI（Key Performance Indicators）即网络性能关键指标，是运营商最关心的指标之一。运营商将关键指标当作评估标准，以是否达到标准作为评价工作质量的重要条件。运营商均制定了全网及小区级的KPI体系，对网络指标反映的问题进行处理，确保了网络的良好运行。

（2）用户投诉：用户投诉信息一直是运营商认为最贴近用户实际感受的数据来源。建立基于用户投诉的分析系统，对用户网络质量类的投诉进行地理化显示和分析定位，根据问题类型区分为建设、维护、优化等类型，建立闭环管理流程。

（3）DT&CQT分析：通过路测设备、用户感知系统等开展海量测试，模拟用户的行为，发现现网中存在的问题并进行处理。

网络质量综合评价体系示意图如图1所示：

图1 网络质量综合评价体系

运营商在语音时代已经建立了以KPI、DT、CQT及用户投诉4个方面的综合质量分析体系，实现网络性能的提升。以上4个方面的指标都可以用KPI来体现，网络质量评价体系是运营商长期积累的重要内容。对于网络侧的性能提升起到了十分重要的作用，可以说是评价网络质量好坏的关键性标准。

随着移动互联网的到来，用户在传统语音需求的基础之上，对于网页浏览、流媒体业务、邮件、QQ、微信等业务性能的关注愈来愈多。目前运营商针对业务实际接入类体验、流畅体验缺少评价手段，虽然近年来引入了MR数据分析，但基于业务的分析能力依然受限。具体表现就是在狠抓KPI的情况下，对于用户实际体验方面获取的信息十分有限，从而产生了运营商的网络KPI指标十分好看，而用户对于业务体验方面的抱怨很多的非对称现象。

4 构建基于移动网用户业务体验的评价体系

4.1 建立用户体验与KQI的对应关系

围绕各种业务类型，建立用户体验与KQI的对应关系，针对不同的业务，用户所关心的体验内容是不同的，具体如表1所示：

表1 不同业务类型对应的KQI指标

4.2 构建移动网用户业务体验的评价体系

CEI是多个KQI指标组共同反映用户感知的综合评价指标。在众多KQI指标中，经过研究和分析可知，时延、成功率和业务速率是用户业务感知体验的三大要素。

把除语音业务外的其他4种类型业务的时延、成功率、业务速率按照主观感知设置为好、较好、一般、较差和差5个等级，分别赋予5～1分进行评判，同时设置各等级的KQI门限指标，对各业务进行评价。

端到端各维度评价标准如表2所示：

表2 端到端各维度评价标准

根据分析和抽样，时延维度的权重A为35%、成功率维度的权重B为35%、业务速率维度的权重C为30%。根据不同时期各维度的重要性，可以微调各部分权重。

移动宽带业务用户体验CEI得分=多用户多业务的用户体验CEI得分均值=Ave∑（时延+成功率+业务速率） （2）

最高得5分，最差得1分，以4分作为评价良好体验的阀值。

以流媒体业务为例，多用户流媒体业务缓冲平均时延为3s，流媒体打开成功率为98%，视频下载速率为1.5Mbps，那么针对流媒体业务的用户体验CEI得分如式（3）所示：

流媒体业务的用户体验CEI得分=4×35%+5×35%+ 4×30%=4.35分 （3）

由式（3）可知，整体该业务的体验得分为4.35分，属于较好水平。

通过CEI的评估可以单个评价某种典型业务的实际体验，也可以实现对多业务的综合评价，既可以对全网用户进行评价，也可对重点客户进行评价。

5 建立以网络质量评价为基础的用户感知综合评价体系

单纯通过网络质量评价体系不能体现用户的实际感知，但完全基于用户业务体验评价体系是否就能解决所有的问题呢？

笔者认为，不能单纯地从业务体验指标入手，那样会掩盖网络侧的部分问题，一旦网络质量性能指标恶化到一定程度，业务质量将无从谈起。网络质量是所有运营的基础，无论移动网络发展到何种地步，基于KPI的网络质量都是不能忽视的。

所以，移动网用户感知综合评价体系必须建立在网络质量评价和综合业务评价的基础之上。用户感知综合评价体系如图2所示：

图2 用户感知综合评价体系

5.1 选取粒度

重点客户C：选取高ARPU用户（最多到全网）。

重要场景S：选取业务量高的重要场景（最多到全网）。

重要时段T：选取各业务实际忙时（最多到全时段）。

5.2 KPI评价内容

围绕网络性能选取重要的指标作为评价内容，例如覆盖率、质量分布、质差小区等，不同阶段可以进行调整。KPI评价内容如表3所示。

5.3 客户投诉评价内容

结合投诉，将投诉率、投诉数量或者用户满意度等纳入评价内容，不同阶段也可进行调整。客户投诉评价内容如表4所示。

5.4 网络综合评价得分=30%×KPI+50%×KQI+ 20%用户投诉

通过综合评价网络中的重要场景或对全网进行综合评估，同样可以按5分计算，设置成1～5级的网络评价等级，用于衡量移动网络在用户体验方面的优劣程度。

按照网络综合评价得分情况可以针对一个本地网或者一个网格进行评价排队，对低于4分的网络需进行重点关注和分析。

表3 KPI评价内容

表4 客户投诉评价内容

6 用户感知综合评价体系的应用

建立基于用户感知的综合评价体系，不仅可以评价基于业务的用户感知等级，更重要的是可以及时发现网络的短板并进行处理。通过各维度的得分情况，开展针对性的分析，从而实现对移动网络问题的精准定位。

用户感知综合评价体系应用的好坏，需要不断地对评价内容的权重和门限进行优化调整，同时需要构建闭环的问题处理流程，强化问题的实际落地，提升响应能力。只有这样才能真正地站在用户感知的角度，不断提升用户的满意度。

案例：在进行用户感知综合评价时发现某一区域综合得分为3.9分。通过分析发现其他维度得分正常，而针对网页的下载速率CEI得分为3.2分，从而导致该区域综合得分低于4分。网优工程师将该区域的多用户页面下载速率进行汇总分析，发现该区域下的某基站5个扇区的下载速率较差，具体如图3所示：

图3 优化前异常指标示意图

对该基站忙时段176个用户1 217次低速率异常话单进行分析发现，RAN侧原因的占比超过60%。针对该RAN进行统计，平均下载速率仅为286kbps。通过排查，“HSDPA IUB带宽受限”导致的关联次数能够占到85%以上。最终将该基站IUB传输扩容，新增30M FE，解决IUB拥塞问题。该站点的5个小区的大页面下载平均速率提升了45%，问题得到解决。实际效果如图4所示：

图4 优化前后对比示意图

7 结束语

KPI是基础，用户投诉是对网络满意度的体现，KQI是用户感知的表现。通过基于移动宽带客户感知的分析与研究，建立了移动宽带客户感知综合评价模型，梳理了影响用户实际体验的CEI体系。结合基于网络性能的评价体系，建立并完善了问题处理流程和考核评价体系，为持续提升客户感知奠定了坚实的基础。

下一步将利用海量的网络及业务数据，通过大数据分析，支撑客户维系、客户流失分析等精细化运营，持续深化和钻取用户体验的数据支撑能力，为市场发展和后向业务经营方面的探索提供手段。

[1] 中国互联网信息中心（CNNIC）. 第35次中国互联网发展统计报告[R]. 2015.

[2] ITU-T G.1011(G.RQAM). Reference guide to QoE assessment methodologies[S]. 2009.

[3] 华为技术有限公司. 中国联通精品网方案汇报[R]. 2014.

[4] 中国联合网络通信集团有限公司. 中国联通2013年移动网络优化重点工作要求[R]. 2013.

[5] 中国联合网络通信集团有限公司. 中国联通DC-HSDPA网络优化指导意见[Z]. 2014.

[6] 中国联通上海市分公司. 基于业务质量和大数据挖掘支撑存量经营[Z]. 2014.

[7] 中国联合网络通信集团有限公司. 2014年运维专业线考核指导意见[Z]. 2014.

[8] 华为技术有限公司. 河南联通业务质量KQI体系建立及应用[R]. 2014.

[9] 中兴通讯股份有限公司. 基于用户感知的指标体系及建模评估[R]. 2014.

[10] 3GPP2 S.R0079-0. Support for End-to-End QoS[S]. 2004.★

Research on Perception Evaluation System of Mobile Broadband Customer Based on KPI and Business Experience

LI Zhi-guo
(China Unicom Network Communications Co., Ltd., Henan Branch, Zhengzhou 450008, China)

According to carried business and customer experience in mobile Internet era, both the network quality evaluation system based on voice and the evaluation system based on customer’s business experience were analyzed, respectively. Combined with quick network localization for operators to guarantee good customer experience, it was demonstrated that both network quality and business experience indicators are indispensable in analysis and localization. A comprehensive perception evaluation system of mobile broadband customers based on both KPI and business experience was put forward which was applied in practice.

mobile broadband key performance indicator key quality indicator customer experience indicator

10.3969/j.issn.1006-1010.2015.12.019

TN929.53

A

1006-1010(2015)12-0092-05

李治国. KPI与业务体验相结合的移动宽带客户感知评价体系研究[J]. 移动通信, 2015,39(12): 92-96.

2015-04-03

责任编辑：刘妙 liumiao@mbcom.cn

李治国：工程师，硕士毕业于北京邮电大学，现任中国联合网络通信有限公司河南省分公司网络优化中心副总经理，长期从事移动网络优化规划与性能研究工作。