教育类数字化产品评价指标体系的设计与验证*

马秀麟，李小文 ，闵雅琴 ，苏幼园，梁 静

（1.北京师范大学 教育技术学院，北京 100875；2.“移动学习”教育部-中国移动联合实验室，北京 100875）

一、研究背景及问题

1.研究背景

（1）教育信息化2.0与人工智能的推进，促生了大量教育类数字化产品

伴随着信息与通讯技术的迅速发展，教育信息化逐渐成为世界各国广泛关注的热点，也成为世界各国推进教育持续发展和变革的必由之路[1]。自1993年美国政府提出“信息高速公路”计划后，世界各国和组织相继提出了符合国情的教育信息化建设规划，希望能有效利用信息技术，提升国家整体教育水平[2]。如联合国教科文组织的“教育信息化促进教学变革”计划、韩国的“虚拟大学”计划、新加坡的“智慧岛”计划等。中国在教育信息化方面也做出了诸多行动，如 “校校通”和“班班通”、“电子书包”和“教育云”等项目启动并取得进展，“三通两平台”的口号更是响彻全国各地[3]。在教育信息化大浪潮的带动下，服务于课堂教学和课后自主学习的教育类数字化产品也不断地涌现出来。

人工智能技术的出现，加速了教育类数字化产品的产生和发展。2016年10月，网易科技联合网易智能、乌镇智库发布了《乌镇指数：全球人工智能发展报告（2016）》，该报告指出人工智能应用于教育领域的主要形式有：智能评测、个性化辅导、儿童陪伴等。学者陈凯泉指出，智能识别、自然语言理解、学习分析、虚拟现实、教育机器人等五类人工智能技术被大量引入教学系统，使传统数字化教学系统、一系列在线学习平台及MOOC平台不仅实现了学习资源呈现、作业批改与答疑、学习社区构建、支持交互协作等功能[4]，还能够在应用人工智能之后对知识与内容的表征形式实行智能化改造，并能即时捕捉与感知、分析学习者的学习状态[5]。

（2）教育类数字化产品质量良莠不齐，影响了用户体验

笔者对市面上的教育类数字化产品调研后发现，教育类数字化产品数量虽多，却存在着产品良莠不齐、产品功能重复、具有严重缺陷、不符合教育教学规律等问题。调查显示，在每年出现的几百万个APP中，可能只有几百个能在市场中生存下来，应用市场中堆积了越来越多的没有更新、没有评价的“僵尸”APP。

因此，无论从产品研发角度出发，还是从用户视角考虑，对教育类数字化产品进行监管和评价，并借助有效的评价指标体系为教育类数字化产品研发提供指导，对确保教育类数字化产品的质量和持久发展显得尤为重要。

2.研究问题

笔者以“产品评价指标体系”为主题在CNKI中进行检索，发现在电子商务、环境、旅游、银行产品等方面均已有较为成熟的产品评价指标体系及相关研究论文，而在教育类数字化产品方面，文章数量却极少，且没有形成一个较为成熟和广泛应用的评价指标体系。所以，笔者认为，为保证教育类数字化产品的质量，构建出一个对教育类数字化产品进行评价判断的体系是必要的。一方面，有利于用户获取到有价值的产品和信息；另一方面，又可以让开发者在评价判断中不断发现问题和不足，在后续的开发中进行修改和完善，开发出更加优质、符合标准的产品。

基于教育类数字化产品中存在的问题，以及笔者对文献的查阅和研究，本课题的研究问题主要聚焦为以下两个方面：

（1）结合教育及其数字化产品的自身特点，并借助行业专家的把关，制定一套适用于教育类数字化产品的评价指标体系。

（2）在完成产品评价指标体系的初步设计之后，先在实际评价中进行验证、完善，通过多轮迭代，以保证指标体系的科学性和严谨性。

二、研究设计

1.研究思路

面对数量庞大的教育类数字化产品，从哪几个方面入手和研究，才能制定出一套比较规范和有说服力的评价指标体系，是本研究着重考虑的问题。

首先，鉴于教育类数字化产品数量庞大，各产品有自己的属性和特点，所以，评价指标体系的制定不应以一概全，而是要按照其服务目标进行分类，有指向性和针对性。因此，本研究应在对教育类数字化产品充分调研的基础上，发现产品之间的共性与个性，进而根据其个性进行分类，即将共性产品分为一类，再制定属于此类产品的评价指标体系，从而做出有针对性的评价和管理。所以，本课题首要任务就是先确定教育类数字化产品的分类。

其次，教育类数字化产品作为产品的一种，其应满足软件产品所应具备的基本要求。除此之外，教育类数字化产品本身自带的属性之一就是应满足教育自身所应有的特性，也就是说，在针对教育类数字化产品的评价指标体系中，必须包含教育性质的维度和指标。只有满足这两方面要求，才能确定教育类数字化产品评价指标体系的维度和指标，进而形成初版的评价指标体系[6]。

最终，笔者选择几款有代表性的产品进行试评，以期在此过程中完善初版的评价指标体系，形成较为规范的有代表性和推广价值的评价指标体系。

2.研究流程设计

基于以上研究思路，本课题的研究流程主要包括文献阅读与分析、确定产品评价的维度、确定教育类数字化产品的类型与及其评价维度、形成初步的教育类数字化产品评价指标体系、试测、修改和完善等一系列环节，其主要工作流程如图1所示。

图1 研究流程图

三、教育类数字化产品评价指标体系的初步设计

因本研究旨在建设一套适用于教育类数字化产品的评价指标体系，为教育类数字化产品的质量监控提供支持。一方面，借助此指标体系，能帮助开发人员发现其产品中存在的不足，以便及时地进行改进和完善；另一方面，帮助产品质量管控部门、终端用户更好地了解产品、评价产品。

1.对教育类数字化产品分类及评价的相关研究

（1）教育类数字化产品的常见分类方式

教育类数字化产品的分类决定着评价的依据和标准。在现阶段，教育类数字化产品并没有形成统一和唯一的分类机制。相比较之下，对教育类数字化产品较为清晰的分类是管佳在《中国在线教育发展现状、趋势及经验借鉴》一文中提出的在线教育产品分类规则。该文指出，在线教育的产品分类可以从多个角度进行：从开发机构主营行业角度，可以分为专业教育机构和一般商业机构；从学习者受教育阶段角度，可以分为K12、职业教育、高等教育、继续教育等在线教育产品；从所提供的产品或服务角度，可以分为资源类、工具类、平台类等在线教育产品；从是否发放证书角度，可以分为学历教育和非学历教育[7]。

（2）教育类数字化产品的评价维度

2013年，唐沰等人对教育类数字化产品中的手机阅读应用类产品以产品性质、产品功能、产品服务、内容形态、内容来源、收费模式为标准进行分类，并以iReader掌阅、91熊猫看书、QQ阅读等10个案例进行测评，发现影响手机阅读应用产品优劣的主要方面为：手机阅读软件及内容设置。软件使用方不方便、功能是否能够满足广大用户的需求、可供阅读的内容海量与否、能不能参与社交讨论是手机阅读应用产品研发商应该重点考察的问题[8]。

2016年，黄炜等人在对移动应用程序评价指标体系的研究中，通过德尔菲法和用户问卷调查相结合的方法确定了应用平台、用户体验、可视化前台和网络后台这四个指标为一级指标，通过选取七款具有代表性的APP作为实证案例进行验证，发现APP只有将软件本身的“用户体验”和“功能”这两点做到最好，才能让用户得到真正的满意，形成良好的口碑[9]。

还有很多学者只对某一个特定互联网产品进行评价指标体系的制定，比如郑锡华对“咪咕阅读APP”进行研究时，构建了该APP的用户体验评价体系，主要包括产品质量、用户体验、服务及网络、市场表现等四类指标[10]。

其中，在用户体验方面，尼克森的十大可用性原则作为产品设计与用户体验设计的重要参考标准，已得到广泛研究和使用[11]，具体见表 1。

表1 尼克森的十大可用性原则

2.分别确立不同类别产品的评价维度

本课题主要从教育类数字化产品的分类、教育类数字化产品评价维度的生成、教育类数字化产品的评价指标体系初步产生及其优化与完善等几个方面切入并展开。

（1）对教育类数字化产品的分类

从服务于教育的主流数字化产品看，既有以资源支持为主的教学平台、题库系统、微课系统，也有面向特定需求的功能性产品，比如教学论坛、视讯通、家校通等系统；另外，“一起作业吧”“百度作业帮”则属于功能与资源并重的服务。

参考教育类数字化资源的常见分类方式，结合笔者团队对教育类数字化产品的研发与深度体验，本课题决定从产品服务的视角出发，将教育类数字化产品划分为资源型产品、功能型产品、资源与功能并重型产品三大类，并在后续研究中，以此三类为标准分别制定评价指标体系。

（2）确立教育类数字化产品的评价维度

从市场上主流教育类数字化产品的现状来看，交互性缺失、对以教育理论为指导的服务模式重视不够是部分产品的巨大缺陷。面对这些问题，笔者认为教育类数字化产品理应做到：充分发挥数字化产品应有的优势，具有较强的交互性、趣味性，具备能让学生快乐学习的任务和交互方式，以激发学生学习兴趣、引导学生以探索未知为起点，承担起教育类数字化产品应有的责任[12]。

从先前研究者的研究结果与尼克森的十大可用性原则来看，对教育类数字化产品的评价最好包括功能、交互（状态可见、撤销重做、人性化帮助）、综合设计（环境贴切、一致性、灵活高效、易用）、导航（防错、易用）、检索（易取）等五个方面，且应体现出产品的教育性。在此基础上，还需综合考虑产品内容质量、内容组织方式与产品改进建议（主观题）等三个方面，共形成了八个维度的评价指标。

因此，本课题拟形成的产品评价指标体系将主要从功能、交互、综合设计、导航、检索、内容质量、组织方式与改进建议（主观题）等八个维度来设计。结合前面所探讨的“教育类数字化产品分类”标准，进行了维度的进一步侧重和划分，如图2所示。

图2 教育类数字化产品分类及评价维度

在一级维度确定的情况下，根据各维度应包含的原则，以及竞品分析过程中发现的需求、业内优质产品的特色与优势，细化为本研究的二级指标。其中资源型产品评价的维度与关键指标见表2，功能型产品评价的维度与关键指标见表3。

资源与功能并重型产品的关键评价指标应综合考虑表2和表3的结构，由表2和表3组合而成。

3.教育类数字化产品评价指标体系之初稿

基于已经确定的教育类数字化产品分类标准和评价指标的一级维度、二级指标，并听取行业内专家的意见，分别形成了面向三类产品的评价指标体系。其中，资源型产品评价指标体系如表4所示，功能型产品的评价指标体系如表5所示。

表2 资源型产品评价的一级维度与二级指标

表3 功能型产品评价的一级维度与二级指标

四、教育类数字化产品评价指标体系的优化与完善

为保证本指标体系的科学性和严谨性，论证其信度和效度，笔者团队通过邀请行业专家把关，对现有产品试评价来检查评价指标体系中存在的不足，并进一步优化与完善。

1.以试评价检查新指标体系的科学性和不足

首先根据拟试评产品的定位，确定该产品的所属类别；然后根据类别选择相应的评价指标维度和指标项，进行相应项目的打分。并在打分与评价过程中，随时对评价指标体系中的问题及不便之处汇总、修正。

表4 资源型产品评价指标体系初版

表5 功能型产品评价指标体系初版

（1）对参与试评价产品的说明

本研究主要对背单词软件“百词斩”、一起作业旗下的“一起作业老师端”、中国移动“和教育”的“高中单词通”“错题本”“互动学习卡”“家校视讯通”共6款产品和若干个学习支持平台进行试评。

（2）基于产品试评价所发现的问题

通过对上述10余款产品的试测，笔者发现了6个主要问题：

①无论何种类型的教育产品，都应以“帮助”形式配置产品功能与使用说明书，以引导和帮助用户进行产品试用，提升用户使用产品的顺畅性，增加用户粘性。但部分产品在这方面严重不足。

②部分产品仅以计算机软件研发人员的思路制作产品，严重缺乏教育理论的指导，甚至违反基本的教育教学理论，严重影响了教学效果和产品使用。因此，应把产品是否符合新教育理念作为教育类数字化产品评价的关键指标项。

③对于资源型产品，应高度关注资源的组织方式和导航，最好能在顶层构造“综合性模糊检索”功能，以支持模糊关键词、多关键词检索。

④部分产品的用户体验很差，存在程序响应慢、并发量大时卡顿等问题，有些产品过于关注界面的华丽而忽视了多用户并发状态下的健壮性，存在系统“bug”。因此，在产品评价时，必须把用户体验效果、“响应力及健壮性”“功能覆盖度”等要素添加到新指标体系中。

⑤为便于产品评测人员打分，所有分项指标应采用标准统一的分值（10分）。当评测人员完成分项打分之后，由评价系统按照一级指标所分配的权重自动折合各个指标项的分值，从而得到整个产品的最终得分。

⑥各一级指标项的权重需依据该维度在指标体系内的重要程度来设置。

2.教育类数字化产品评价指标体系的优化版

基于试评效果及专家反馈信息，课题组对初版指标体系进行了优化和补充，新增了若干需要重点关注的指标项，形成了终版评价指标体系。其中，资源型产品评价指标体系见表6。

3.教育类数字化产品评价指标体系的信度效度验证

为了保证评价指标的科学性和严谨性，课题组借助专家评估及访谈等方式保证了指标体系的结构效度与权威性；通过试评价和专业的可靠性分析，论证了评价指标体系的信度。

（1）信度检验

在产品试评价的基础上，本研究借助SPSS18.0数据分析工具，分别对各一级维度内的指标项进行了数据可靠性检验，发现各个维度的克朗巴哈系数均在0.8以上，说明各个维度均有较好的信度。另外，在将所有维度的指标项均纳入到“可靠性检验”的变量列表之后，发现总体指标体系的克朗巴哈系数为0.931，说明本评价指标在整体上具有较好的信度保证。

（2）以德尔菲方法保证结构效度

为保证新指标体系的科学性和权威性，在评价指标体系初步形成后，笔者即邀请北京师范大学教育技术学院的邬彤副教授、张庆利高级工程师对本指标体系进行了评估，并认真听取二位行业专家的改进建议。与此同时，课题组选取了中移动“和教育”的部分产品进行试评，并邀请中国移动“和教育”产品质量管理部负责人闵雅琴、产品经理宁博等人参与试评工作，请他们结合产品的评价情况进一步补充和完善了指标体系，形成了较为科学和严谨的评价指标体系。

表6 资源型产品评价指标体系终版

五、研究总结与展望

本研究提出了符合教育特点并兼顾产品自身优势的产品评价指标体系，对于教育类数字化产品的设计开发、评价及其良性发展都具有一定的引导作用。

尽管专家的参与已经在一定程度上保证了本指标体系的科学性和严谨性，但由于试测产品数量不多且具有一定局限性，导致本指标体系的普适性和科学性仍有待进一步检验，希望对后续产品的大批量测试能够不断地完善与补充，使本评价指标体系更加全面和权威。