基于负面清单管理模式的电力客户服务评价方法*

刘志欣，黄旭，魏加项，于亮，叶晶晶

(1. 国网北京市电力公司，北京 100031； 2. 北京交通大学 电气工程学院，北京 100044)

0 引 言

准确有效地评价客户服务质量是供电企业提高服务水平的重要手段。通常，客户服务质量的评价可以通过外部的满意度测评和内部的服务过程评价来实现[1]。外部满意度测评在国内外通常采用以调查问卷为基础的定量评价方法[2-6]。调查问卷具有容易量化，便于统计，可以开展大规模调查的优点，但它存在调查问题的设计体现设计者的主观考虑，很难完全客观反映出被调查者的整体感受过程，动态追踪性较差的问题。与依赖于调查问卷的满意度测评相比，服务过程评价有三个优点：能更全面更客观地评估业务过程的执行质量；能更直接地发现客户服务中的不足和瓶颈；能充分发挥业务大数据的作用，进而实现常态化评估。

然而，面向业务数据的服务质量评价面临许多挑战，主要困难包括：如何建立一套客观、实用、可量化的指标体系，如何规避无效或低价值业务数据的干扰，以及如何提高评价机制的动态跟踪性能等。文献[1]针对供电服务的业务统计数据构建了一套内部评价指标体系，并利用模糊层次分析法来确定指标权重。文献[7]将主成分回归赋权方法与熵权值赋权法相结合构建了一个多因素，多层次的指标体系，弥补单一主观赋权法的不足。文献[8]从6个维度以平衡计分卡为理论基础构建满意度评价指标体系，利用网络层次法和模糊综合评价法建立动态测评模型，解决以往客户满意度评价单一指标主观性较强的问题；文献[9]建立四级评价体系，采用逼近理想点法和专家打分法计算不同级的指标权重，既考虑了指标本身的数值意义，又考虑了专业管理的目标，增强了评价指标得分的合理性和客观性。以上这些方法在一定程度上克服了专家打分法主观性较强的缺点，但仍属于常规的综合评分法。

在客户服务质量评价中，多数研究采用了自下而上的评分结构。也就是说，通过指标体系分层、子项打分、按权重叠加来得到一个综合分值。文献[10]借鉴ACSI模型结构和其他行业的客户满意度模型，不考虑难以量化的客户忠诚指标，对提升客户满意度工单进行“+”处理，对降低客户满意度工单进行“-”处理。文献[11]基于费耐尔模型研究影响顾客满意度的各种因素以及相关关系，用正负号表示变量之间的相互关系及相关程度。文献[9]采用“二八原则”和下凹型效用函数对指标进行评分，计算出正向指标和负向指标，计算结果弱化了数量级带来的影响。虽然这类分值能反映出服务质量的相对高低，但是个体分值的含义并不明确，这削弱了分值的参考意义。

总而言之，客户服务质量评价或满意度测评应当满足以下的基本要求：首先，评分结果应呈现科学合理的概率分布，且各分数段对应明确的含义，从而更有效地支持业务改进；其次，评价体系应当紧密结合具体业务，能客观地反映客户体验；最后，评分基准、指标权重等重要参数可自适应调节。围绕上述需求，主要完成了以下工作：(1)提出了一种基于RATER指数的客户服务评价分层架构；(2)提出了基于负面清单管理模式的评分方法，旨在解决大量无效数据干扰问题和凸显负面清单对企业形象及信誉的影响；(3)设计了基于改进蚁群算法的赋权方法，从而提高权重系数的客观性。最后，通过实际业务数据对提出的方法进行了分析和验证。

文中剩余内容安排如下：第1节介绍评价体系、评分方法及权重系数的确定步骤;第2节设计基于改进蚁群算法的权重系数辨识方法;第3节通过实际数据验证所提评分方法并测试灵敏度;第4节总结所提方法的优势、适用性及完善方向。

1 评价体系设计

1.1 体系架构组成

采用综合评价方法实现服务质量评价，搭建基于RATER指数的关键指标。RATER指数是一种被广泛应用、可以有效衡量客户服务质量的指标体系，包括五个子项：信赖度(Reliability)、专业度(Assurance)、有形度(Tangibles)、同理度(Empathy)和反应度(Responsiveness)。因此，综合评价总分公式可表达如下：

(1)

式中k取1到5且分别对应RATER五个指标；ωk和xk分别为第k个指标的权重系数和基于百分制的指标得分。

表1 RATER指数考核要点

表1列出了RATER各指数的考核要点。考核要点直接与服务工单的类别相关联，可通过工单中所登记的业务代码实现归类。部分归类结果如表2所示。

表2 业务归类部分结果

通过业务代码将工单归类到RATER的五个指标，归类后工单处理的质量将直接影响到各个指标的评分。在计算指标分值过程中，有两个关键问题需要解决：一是如何根据业务数据得到指标得分；二是如何确定权重系数。

1.2 指标评分方法

传统的指标评分方法采用综合评分方法，其实现步骤如下：首先，将指标划分为业务细项；然后，对每个业务细项分别评分；最后，按照权重得到指标评分。由于业务分类能确保总体评价的精度，这种方法得以广泛采用。然而，在多数情况下，从业务过程中可以提取到的、能直接反映客户服务质量的信息很少，甚至有些信息是不可靠或不准确的。例如，业务执行时间通常可以从数据库中通过时间比较得到，但该时长受多种因素影响，与客户所体验到的实际业务时间并非对应。再比如，系统所收集的客户满意度评价结果在概率统计上往往呈现偏态分布而非正态分布。其中一个重要原因是被服务对象常常不予评价或给出偏高评价。

表3 经典五级满意度分类下的工单数量(2016年)

在传统服务质量管理中，周报、月报统计包含了不满意率等统计指标。然而，该指标较为笼统，波动量小，而且不能体现具体业务细类中的问题及影响程度。例如，由于客户预留电话号码错误导致停送电信息短信通知失败，引发此类负面评价的主要原因并非服务品质问题。

与面向调查问卷的评价相比，基于业务大数据的指标评价在基本需求基础上还应满足以下两个需求：能基于不确定的业务数据实现自动评分，并且对负面评价具有较高灵敏性。由此，提出了基于负面清单管理模式的评分方法。五级指标中的不满意、非常不满意评价被视为负面评价，其中非常不满意评价包含了涉及电力公司服务质量的投诉及举报全部工单。

步骤1：选取一个负面工单j，根据评价级别(即不满意、非常不满意)设置惩罚系数为α，如不满意和非常不满意分别设为1和2；

步骤2：根据工单所属业务明细(如表2所示)判定其指标分类为k，用δ表示该明细与服务品质的关联度，δ∈[0, 1]。如“青苗赔偿”的负面评价通常与客户对赔偿数额的期望有关，不完全依赖于客户服务品质。在实际应用中，关联度通过“1-9标度法”确定。

步骤3：工单j的负面影响用λj=αδ表示，则指标k的负面影响计算为：

(2)

式中J为涉及该指标的负面工单集合;K为服务工单总数。

步骤4：完成所有负面工单统计后，指标k的评分为：

(3)

式中，如ηk太大则xk将出现负值，可改为：

(4)

式中 函数max( )将返回两操作数中的较大值。

上述方法根据负面评价的级别、关联程度和数量将指标分值归一化，从而防止数量庞大的中性评价或无效评价钝化总评分值，提高负面评价的灵敏度。同时，由于负面评价数据较为详实且具有很高可信性，所以基于负面清单管理模式的评分方法能更准确地反映服务品质的变化。

1.3 权重系数的确定方法

通常，权重系数由主观赋权法或客观赋权法来确定。其中，主观赋权法包括德尔菲法(专家法)、相邻指标比较法以及层次分析法，由于简便易行主观赋权法被广泛应用于综合评价中。

如表2所示RATER指数与电力公司业务存在明确的相关性，所以可以采用基于层次分析模型的“1-9标度法”确定各指标的权重。在具体操作中，可以借助于专业软件来降低计算难度，如超级决策软件(Super Decision)。根据对电力客户服务专业人员和抽样客户的问卷调查，采用超级决策软件分析，得到的主观权重系数如下：信赖度为0.06、专业度为0.60、有形度为0.04、同理度为0.11、反应度为0.19。从主观角度来看，在电力客户服务质量的影响因素中，专业度和反应度的权重较大，而有形度和信赖度权重较小。

在实际业务中，业务明细划分和引起负面评价的原因都比较复杂，这导致主观赋权法存在局限性。因此，通过以下参数识别策略进一步提高赋权的客观性：

步骤1：根据主观赋权法得到RATER五个指标的权重系数作为初值，并设定取值范围，然后整理筛选出一定数量的负面评价工单作为样本集;

步骤2：按照业务分类及式(2)和式(3)计算样本集中每个负面评价工单的得分，并按照表2所示的分类标准将负面评价工单归类到RATER的五个指标;

步骤3：当计算完样本集中所有负面评价工单后，由式(1)得到综合评分，与满意度评分的参考值比较求出平均相对误差百分值(MAPE);

步骤4：按一定规则调整权重系数，到步骤2继续计算。当达到预设迭代步骤后，选出最小MAPE对应的一组权重系数作为最优权重系数。

步骤3中的满意度评分的参考值是一个数组，表示多个月或多周的评分。该参考值由专家根据每个月的客户服务总体水平给出，或根据上级管理部门的总体评分设定。需要注意的是，该参考值应当根据预设的分值区间进行折算，从而保持相同的评分敏感度。因此，目标函数设计为：

(5)

式中φ为最优权重系数的可选解；Φ为解空间；M为拟合月数；zm为第个m个月的参考分值；ym为按式(1)得到的第m个月的评分。

式(5)所示的目标函数可以采用非线性优化算法求解，将在下节中详细介绍。基于实际服务工单数据对权重系数进行辨识可以提高赋权客观性，也能提高评价模型的适用性。更重要的是，辨识得到的权重系数隐含了对关联度的自适应调整，能进一步提高评价方法的准确性。

2 基于改进蚁群算法的权重系数识别

2.1 解空间

蚁群优化算法(ACO)常用于解决组合优化问题，经过多年的发展，已经成功应用于许多研究领域中，其有效性和可靠性得到了充分证明。在电力系统方面，蚁群算法常用于综合规划问题的寻优，一般面向离散域进行设计和求解[12-16]。然而，权重系数的辨识属于连续域寻优，为此采用网格划分策略来设计蚁群算法。假设待求参数仅有一个，用实数变量v表示，v∈[vmin，vmax]。根据取值范围将变量v的解空间划分为N格，则每格宽度为Δv=(vmax-vmin)/N。以每格中心作为节点(城市)，其取值为：

(6)

式中j=1,…,N。

当蚁群算法运行时，蚂蚁需要完成2步：第1步是根据每个节点上所残留的信息素通过转移概率算法来选择走哪一个节点，即选取一个符合要求的参数vj；第2步是根据选取的参数vj计算目标函数值，更新对应节点的信息素。经过多次循环后信息素最高的节点所对应的vj即为最优参数vopt。

为了提高连续变量的识别精度，应对离散蚁群算法做一定改进。每循环一定次数后，适当缩小格宽度Δv(即重新设置vmin和vmax)，公式如下：

(7)

式中γ是收缩系数，γ∈[0, 1]，使网格宽度逐渐缩小，从而不断提高识别精度。

针对基于负面清单管理的客户满意度评价指标体系，待识别参数为5个权重系数，因此蚁群算法的解空间即为5×N的节点网格，称为5列N行，如图1所示。节点变量vij表示第i列第j行的取值，每只蚂蚁都需要从左到右走过5个节点完成单次寻优过程。

图1 解空间的网格划分示意图

2.2 算子设计

在式(5)所示目标函数中，方均误差表示为：

(8)

则蚁群算法的信息素更新公式设计为：

(9)

式中ρ为信息素挥发系数;Q为信息素强度;c为一个极小的正小数防止被零除。

RATER指数需要5个权重系数，则每只蚂蚁都要走过5个节点连成的一条路径。由于每列有N个节点，蚂蚁必须根据状态转移概率选择走哪一个。在此，转移概率的计算公式如下：

(10)

当一只蚂蚁走完5个节点后，根据式(9)更新这些节点的信息素。信息素的持续更新使众多蚂蚁之间相互影响，促使蚁群寻找最优路径。

2.3 求解过程

所提蚁群算法由两个循环结构组成，即蚁群循环和网格收缩循环，具体过程如下：

(1)设置待求系数的取值范围；设置收缩系数；设置蚁群总数量；设置网格收缩循环的次数;

(2)根据式(6)初始化待求参数；设置信息素强度和挥发系数；初始化信息素矩阵;

(3)执行蚁群循环，让所有蚂蚁走完5个节点所构成的寻优路线。其中，每只蚂蚁的执行过程分成3步：第1步，蚂蚁根据式(10)选出路线上的5个节点；第2步，将被选中的节点输入式(6)求出对应的5个参数，按照式(1)～(4)统计所有负面评价工单并输出评价总分；第3步，根据式(8)和式(9)更新5个节点的信息素;

(4)检查是否达到网格收缩循环的最大次数或达到预设精度，是则转至下一步，否则根据式 缩小变量范围并转至第(2)步;

(5)输出辨识得到的最优权重系数。

3 案例分析

3.1 权重系数识别及对比验证

以95598电力客户服务中心2016年上半年6个月的数据为例，进行客户服务质量的评价。主要包括以下具体环节：

(1)首先进行数据整理，根据非结构化的数据库字段“客户意见”通过关键词匹配筛选出负面评价工单，然后根据业务代码确定工单所隶属的RATER指标；

(2)根据历史统计数据设定各指标的负面评价常规占比及其自评分数；

(3)通过专家打分得到权重系数初值，再利用改进的蚁群算法确定权重系数；

(4)根据确定的权重系数等参数计算得到每个月的客户服务质量综合评分。

不满意和非常不满意的惩罚系数设置为1和2，业务细类与服务品质的关联度基于历史统计信息并通过“1-9标度法”确定，部分关联度如表4所示。

表4 业务细类与服务品质关联度的部分设置

表5列出了所需的相关参数。其中，根据2015年全年的分类统计结果设定负面评价的总数占比，根据国家电网公司客户服务管理要求设定自评分值，根据主观赋权结果设置权重系数的取值区间。

表5 参数初值设置

2016年1 月～6月的专家评估分值折算到[60, 100]区间后分别为：90、90、86、83、70、79，根据该目标分值采用蚁群算法即可识别出最优权重系数，结果为：0.03、0.41、0.06、0.11、0.39。可见，基于实际数据得到的反应度权重更高，体现了该指标对总体评价的影响恒大。采用辨识出的权重系数，计算总评分值为88、90、86、80、71、76，与参考分值的对比如图2所示，其中拟合误差MAPE为1.8%，吻合程度很高，表征该组权重系数能较为准确地描述客户服务质量。

图2 总评分数的计算结果

4.2 评价方法灵敏度测试

在电力客户服务中，专业度、反应度和同理度相关的负面评价最容易出现，也更易于得到改进。辨识得到的三者权重也最大。因此，采用定量法测试这三个指标对负面评价的灵敏度。将2016年1月隶属各个RATER指标的不合格工单比例分别增加0.05‰和0.10‰、减少0.05‰和0.10‰，根据式(4)计算总评分值，与图2中的1月份总评分值88分对比得到偏差分数，如图3所示。

图3 RATER指标的灵敏度测试结果

由图3可知：(1)各指标分值均能响应不合格工单比例的变化；(2)最受关注的专业度和反应度呈现较高敏感度；(3)由于同理度设置了较高的自评分值(表征管理者对该指标的服务质量较满意)，虽然权重系数较高但是灵敏度较低；(4)尽管有形度权重较低，由于设置了更低的自评分值(表征管理者希望提升该指标的服务水平)，使得其灵敏度较高。

与综合评价方法不同，基于负面清单管理模式的评分方法除了具有出色的抗不良数据干扰能力之外，还能更积极地响应负面评价服务工单数量的波动。通过调整针对RATER各个指标的自评分值，可以为电力客户服务部门提供目标清晰、灵活性高的质量管控策略。

4 结束语

传统的综合评分方法对于业务数据的准确性和可靠性有很高的要求。然而，电力客户服务数据通常存在大量中性或无效信息，真正反映客户诉求的评价信息数量偏少，这严重影响了传统方法的准确性和可信性，也极大降低了评分的敏感度。

提出了一种基于负面清单管理模式的客户服务评价方法，侧重关注不合格工单的数量和质量变化。该方法的主要优势如下：(1)对数据质量的要求不高，具有很强的抗干扰能力；(2)得益于预设的不合格工单的众数占比及自评分值，评分结果能体现清晰的管理期望；(3)通过改变自评分值可调整评价分数的灵敏度，从而实现目标明确、灵活性高的管控策略；(4)因为只考虑了负面清单对满意度的影响，极大地减少了计算量，适合于大数据系统分析；(5)主观赋权法和基于蚁群的参数识别相结合，既避免了过分依赖主观因素,又可以避免过分依赖客观因素的现象,从而提高综合评分的可靠性。

电力客户服务工单数据的现状表明：反馈意见为“满意”的工单通常表示客户服务体验满足预期，而且“非常满意”类工单的数量很少。考虑这些现实因素，客户的正面意见在所提评价方法中没有考虑。因此，该方法不适用于基于客户调查问卷的服务评价。此外，受到语音辨识及关键词检索准确性限制，未评估客户情绪，未来有待于进一步完善。

近期来看，基于负面清单管理模式的电力客户服务评价方法具有很好的实用性，能有效解决实际评价工作中遇到的数据有效性难题，有望为提升电力客户服务品质提供有力支持。