基于PACTS模型的教育APP质量评价指标体系研究*

龚朝花 曾雪庆

（1．西南大学 计算机与信息科学学院，重庆 400715；2．华中师范大学 教育信息化协同创新中心，湖北武汉 430079）

APP是“Application”的简称，特指各种在移动终端设备上使用的、能实现某些特定功能的第三方应用程序[1]。2017年8月4日，中国互联网络信息中心（China Internet Network Information Center，CNNIC）发布第40次《中国互联网络发展状况统计报告》，数据显示：截至2017年6月，中国网民规模达7.51亿，互联网普及率达到54.3%，超过全球平均水平4.6个百分点[2]，这表明大多数用户已经具备数字化信息获取能力。与此同时，支持各类移动终端的、数以万计的教育APP通过不同应用商店APP Store涌现，促使学习者、教育者和家长等用户对高质量教育APP的需求剧增。然而，当前的教育APP是一把“双刃剑”：一方面，教育APP通过生动的多媒体材料营造出活泼逼真的生态学习环境，帮助用户去认识、体验和探索知识世界的奥秘，成为积极的信息加工者，促使自然“习得”并“建构”知识；另一方面，教育APP呈几何式增长，大量鱼龙混杂、同质化现象严重的APP充斥着市场，这些劣质APP往往缺少教育理念和学习策略的指导，导致内容过于娱乐化、活动设计单一化、界面设计复杂化，无法有效帮助用户达成教育目的[3]。基于此，面对APP在教育领域的快速发展，为了更科学地引导教育APP走可持续发展之路，本研究对教育APP的质量评价模型及其指标体系进行了研究，旨在帮助用户更好地选择教育APP，并帮助教育APP设计者更科学地设计、开发产品。

一 当前教育APP存在的问题

为科学了解现有教育APP在满足用户使用需求方面存在的问题，本研究通过文献整理和对部分使用过教育APP的教师、家长、学生以及教学专家进行访谈，发现存在的主要问题如下：

1 资源主题分布不均衡

现有教育APP在资源主题分布上严重失衡，表现为：从学段来说，支持幼儿和低学段的教育APP较多，而支持中学生的教育APP数量明显偏少；从学科来说，支持语言学习类的教育APP较多，而支持自然学科类的资源较少；从类型来说，支持考试类、题库类和作业类的教育APP较多，而支持探究学习、培养学生核心素养等方面的资源较少。

2 服务缺少个性化支持

目前，大部分教育APP都有简单的学习记录功能，但缺乏对学习内容和用户行为的深度分析，无法为用户提供良好的个性化学习路径，在深层次挖掘用户思维和行为方面也存在不足，不能满足大数据背景下通过数据驱动、知识驱动和智慧驱动来改善用户体验的需求。

3 内容设计缺乏理论依据

目前，畅销榜上的多数教育APP在内容简介里很少提及有系统的教育教学理论作支撑。而内容设计缺乏理论依据，在解决用户的需求方面就难以做到有的放矢，也不能很好地解决教育教学实践中存在的问题，因而教育APP的应用价值也会大打折扣。

4 高成本低效益

现有应用商店中的教育APP大多提供免费下载功能，直接付费下载的教育APP数量相对较少。然而，许多免费下载的教育APP都提供教学内容“APP内购买”服务；付费教育APP的价格区间从12～128元不等，价格分布不均匀且跨度较大，低价教育APP数量也较少。可见，这种高成本低效益的服务模式对教育APP的规模化下载使用极为不利。

5 界面设计过度图形化

目前的教育APP大多色彩鲜明、图案逼真，而一些教育APP过度图形化的视觉表达会诱导用户去关注富媒体、图形化设计过度的素材，而不是将注意力放在内容本身，从而分散了用户对内容的关注度，不能有效激发学习动机。这种没有考虑“内容即界面”的设计理念，使得界面设计在隐喻的处理和扁平化风格上存在偏差，增加了用户的认知障碍。

以上问题导致不少教育APP在应用商店中成为了“僵尸APP”——即便被用户下载体验了，也逃脱不了在用户的移动终端上再次成为“僵尸APP”的命运。要想从海量APP中找出高用户体验的教育APP，就需要构建一个科学的教育APP质量评价体系。

二 教育软件评价与教育APP评价

教育APP作为教育软件是智慧学习环境下的一种新形态，因此，教育软件评价对研究教育APP评价有重要的参考价值。具体来说，已有的教育软件评价主要涉及三个方面：

①计算机辅助教学软件评价。较为典型的评价指标是师书恩[4]于2001年提出的从教育功能（即教与学理论及教学理论影响教学目标的信息指标）、技术功能（即软件安全、版权和可用性的信息指标）和媒体运用功能（即媒体理论和传播理论的信息指标）三个维度来测量教育软件价值。此外，李征[5]从技术、学习心理和语言学习三个层次，对计算机辅助学习软件进行了考察。这些指标为从教育和技术维度来考察教育APP的价值提供了重要思路。

②网络多媒体教学资源评价。如钱冬明等[6]从信息内容、教学特征、网站设计、技术水平、网站效益五个维度，构建了社区教育网络资源评价指标模型；赵文静[7]从内容、技术、教学、数学、艺术和发展性六个维度，提出了数学教育网络资源的评价体系。除内容、技术、教学维度外，艺术性在网络多媒体教学资源的评价中也显得尤为重要。

③移动学习资源教育价值评价。如郁晓华等[8]从教育软件和硬件一体化的角度，提出应该关注设备、内容和服务三者的融合统一；王晓晨等[9]以电子教材为例，提出应从学习需求分析、教学目标制定、内容设计、功能设计、结构设计、交互设计、导航设计、界面设计和视觉设计等九个维度来制定评价指标体系。由此可见，尽管以往研究关注的评价焦点不一致，但技术、内容和教学仍然是教育软件评价中不可或缺的组成部分。

教育APP作为一种典型的移动终端教育资源，已引起了诸多研究者的关注，如马玉慧等[10]提出的生态链视角为考察教育APP的评价提供了一种有效思路。目前，国外一些组织也比较关注适用于儿童使用的APP评价。如美国的常识媒体（Common Sense Media，CSM）从儿童用户体验的视角出发，提出了一套面向移动终端的APP评价方法[11]。尽管目前已有一些评价指标体系与教育APP的功能相关，但在实践中，现存的海量教育APP依然很少按照教育教学所需进行精准开发。因此，如何设计科学的评价模型来考察这些多姿多态的教育 APP，已成为移动学习时代教育APP与教育教学精准融合所需面临的重大课题。

三 PACTS模型的构建

1 指导理论和模型构建

教育APP质量评价指标体系的构建，离不开相关理论的指导。在教育APP中，用户是其设计的最终作用方，因此所有的评价标准都应以用户体验设计原则为基础，以支持智慧学习环境下的精准教学为核心；同时，信息化教学设计与技术融合教学相关理论对资源和工具的进化也可起促进作用。此外，多媒体学习原则和多媒体软件标准为优化用户体验提供了理论支持和实践依据，可最大化地实现教育APP在智慧学习环境下的精准教学帮扶。

在构建评价指标体系的过程中，本研究主要采取层层推进法，制定了评价指标体系工作方法流程（如图1所示）：首先，进行广泛的文献调研，归纳总结各文献中提出的评价指标并结合专家访谈，构建PACTS模型；其次，结合Darejeh等[12]的观点，构建完整的评价指标体系；最后，通过集值迭代法计算出指标权重，形成结构方程模型。

图1 评价指标体系工作方法流程

图2 PACTS模型

2 模型分析

借鉴前人的研究成果，综合考虑APP的教育属性、教学设计理论、多媒体学习原则、信息化教学理论、智慧学习、用户体验等因素，本研究构建了由教学（Pedagogics）、艺术（Art）、内容（Content）、技术（Technology）、服务（Service）组成的PACTS模型，如图2所示。

（1）模型的核心——五个维度

PACTS模型主要从五个维度来综合评价教育APP的质量优劣：①教学维度，即从教学法角度，衡量教育APP在教与学的过程中是否为用户提供了体现交互性、控制性和自主性等的教与学方式；②艺术维度，即从视觉审美角度，判断教育APP是否为用户提供了风格统一、协调美观的界面和高用户体验等；③内容维度，即从学科知识角度，考察用户获得的内容在科学性、合理性、开放性、可拓展性等方面是否符合国家教育教学的大政方针和课程标准；④技术维度，即从软件系统的可用性和安全性角度，来衡量教育APP是否满足智能技术支撑的使用环境所要求的条件；⑤服务维度，即从使用过程角度，来考量教育APP在使用过程中是否为用户提供了个性化、人性化、智能化等服务。

（2）动态平衡

PACTS模型中的指导理论与五个维度之间并不是孤立存在的，而是强调不同理论之间、不同维度之间、不同维度和理论之间的多向交互与融合，并始终保持一种动态平衡的状态，目的是使评价的方向从关注“技术本身”转向关注基于技术应用的“教育整体活动”。而要实现这种动态平衡，就需在设计具体的评价指标时，既要考虑不同理论之间的相互融合，又要考虑理论与五个维度之间的相互联系，确保各指标符合教育教学的规律和技术支持精准教学的理念。

四 基于PACTS模型的教育APP质量评价指标体系设计

构建教育APP评价指标体系是一项系统工程。本研究以PACTS模型为核心，来设计并细化教育APP质量评价指标体系的各项指标及其指标权重：首先，选取2016～2017年度在安卓、苹果应用商店APP Store畅销排行榜中排名前100的教育APP（涉及外语、考试、平台、幼教、中小学和其它六类），让学科骨干教师、教育游戏专家和程序设计师以 PACTS模型的五个维度为核心进行评判，并参考文献[13]、[14]初步形成二级指标；其次，组织教育评估专家对二级指标进行收敛，删除那些不能反映或偏离目标的指标，同时剔除那些枝节性的甚至可有可无的指标；最后，为了提高评价的有效性，尽量让指标可观察、可测量，利用集值迭代法对相关指标进行权重分析，形成28个二级指标并得出各个指标的权重值，如图3所示。

1 教学维度

教育APP的教学性是通过教学设计来体现的，它与使用环境、使用过程管理等密不可分。教学维度必须充分重视那些促进学习取得成功的重要因素，因此需要考虑如下功能设计：①教学活动——构思新颖，教学方法富有创意，教学内容深入浅出、形象生动，启发引导性强，不拘泥于传统的课堂教学模式，能提升学生学习的积极性和主动性；②教学环境——以移动终端为传播载体，对教学信息进行传递和处理，确保完成教学任务；③教学交互——利用人机交互界面来操控信息，帮助用户实现界面交互、信息交互和概念交互；④个性化教学——以灵活的信息呈现方式，向不同学习特点的人提供不同难度的信息内容，用户能够自定学习步调进行个性化学习；⑤教学评价——根据学习者的行为选择测评内容并进行测试，同时根据练习反馈进程对学习者进行缺陷分析及学习路径推荐；⑥练习反馈——根据学习内容提供不同层次的练习，让学习者应用新习得的知识技能，并在练习中得到有效反馈；⑦用户档案袋——为用户建立学习档案，有效管理其在线活动，及时评价其学习过程，帮助用户掌握自身的学习情况。

2 艺术维度

艺术性是教育APP设计不可或缺的考虑因素，一个设计精美的APP能极大地激发用户的使用欲。为了提升艺术性，本研究建议从以下方面考虑教育APP的艺术设计：①界面设计——界面简洁突出重点，功能操作顺序清晰，配图与内容高度匹配，提供清晰的指导语和提示。②媒体表现——表现形式丰富多样，出入和转场的呈现方式新颖有趣，具有艺术特色，能达到寓教于乐的目的。③导航设计——使用直观的空间导航（水平延展）替代层级导航；导航区域易识别，形式一致，任何位置可轻松返回；链接部分能够显示出浏览过和未浏览过的区别。④视觉设计——页面布局符合用户的使用习惯，图形元素设计表意明确，使用高对比度、高纯度的色彩搭配，构图可点触元素具有可见性、易辨识、易触发的特性。

图3 二级指标及指标权重值

3 内容维度

教育APP所选内容与用户的使用意愿密切相关。认知心理学家认为，用户喜欢根据已有经验和新知识建立联系，实现知识建构。因此，教育APP需要精心选择内容、组织内容和呈现内容，并使内容设计具备如下特点：①科学性——学习内容科学严谨，且能够适当反映、渗透相应学科的思想方法。②有组织——知识体系按用户特征有逻辑地呈现，学习任务或一些复杂的信息按照从简单到复杂的顺序安排；知识点的呈现顺序符合用户的认知结构，呈现过程简洁明确。③权威性——内容来源客观、真实、可查证，内容质量反映行业的高水平。④结构化——内容体现出知识的高度结构化；根据所选内容主题，能够富有逻辑地对内容进行结构化表征；学习单元或模块划分具有逻辑合理性和大小适当性。⑤内容呈现灵活——允许用户随意获取与主题具有较大相关性的内容，且随调随用；内容形式活泼，具有自组织化、富媒体化的特征。⑥可搜索——通过关键词可检索到各种媒体形式表现的有关内容，可预测搜索和提升搜索排名。

4 技术维度

技术包含软技术、硬技术和智能技术，是推动教育APP向教育领域深度延伸、与教育活动高度融合的助推器。教育APP的技术设计需注意以下方面：①运行稳定——可靠启动和退出，各功能按钮正常工作，没有链接中断或错误，没有其它明显的技术故障；减少不必要的等待时间，对象能动态流畅地切换。②过程记录——支持动作捕获、情感计算、眼动跟踪等感知，并记录用户在知识获取、互动、协作等方面的情况；追踪学习过程，分析学习结果，为内容的精准推送服务。③安全稳定——服务器空间、域名解析和数据安全稳定，即使受到恶意攻击也能继续正确运行；终端设备防滑防摔。④可拓展性——同时支持多终端浏览，适应用户移动化、碎片化的学习需求。⑤情景识别——能识别时间、地点、伙伴和活动等，为活动的开展提供支持，力求通过情境帮助用户更加深入地理解、吸收学习内容。

5 服务维度

服务是教育APP设计中相对而言最不被重视且最容易被理想化的一个指标，但随着移动互联网、云计算、大数据等新技术的发展，服务现已成为教育APP设计中相当重要的指标。服务体现的是教育APP所承载的教育理念和教育功能，一般都有APP系统或服务平台作支撑，主要涉及：①隐私保护——注册用户信息保密，如电话、邮箱等；创建隐私和数据安全功能，收集数据的用途透明化；数据共享的同时要防止数据滥用等。②大数据评估——通过精细分析用户在学习过程中产生的教育大数据，来测量学习者对知识技能的掌握和理解程度，并将形成性评价和总结性评价及时反馈给用户。③免费/付费服务——免费内容的服务质量及时跟进，收费服务符合大众用户的消费水平；付费服务与收费服务提示明确、服务类别清晰，用户可自主选择。④离线/在线服务——支持离线下载、访问服务、在线客服、及时更新服务等。⑤网络社群——搭建教育APP中的网络社群，为不同类型的用户沟通和交流建立连接，实现资源共享。⑥学习伙伴——教育APP提供一个虚拟角色融入到学习过程中，发挥协助作用，促进用户深度学习。

五 结语

本研究提出以PACTS模型为核心来评价教育APP，并基于此模型设计了详细的质量评价指标体系。该体系推动了教育APP的研发与应用：①研发人员能更好地了解学习者及其利益相关者的迫切需求，改进教育应用产品，设计有效的教育 APP，有利于教育应用软件的长远发展；②终端用户在选择教育APP时更加快捷，使用有效的教育APP增强了学习效果，达到了有效学习的目的；③管理部门审查教育类APP的速度加快，不断丰富优质教育APP的数量，使优质教育APP得以广泛应用。下一步的研究将选取一些典型教育APP，以验证基于PACTS模型的教育APP质量评价指标体系的可用性；同时，应用此体系进一步开发相关的教育工具进行APP自动测试，使评价过程更具可操作性，最终为用户提供更好的使用体验。

[1]刘丹,胡卫星,李玉斌,等.移动教育APP的研发现状与应用问题分析[J].电化教育研究,2016,(8):47-52.

[2]中国互联网络信息中心.CNNIC发布第40次《中国互联网络发展状况统计报告》[OL].

[3]宋莉娜,方芳.从美国获奖儿童教育APP看其体系化评价机制——以Common Sense评选的教育类APP为例[J].陕西学前师范学院学报,2015,(3):12-16.

[4]师书恩.计算机辅助教学软件的评价[J].现代教育技术,2001,(1):60-63.

[5]李征.计算机辅助语言学习软件的评价[J].东华大学学报(社会科学版),2004,(4):63-66.

[6]钱冬明,孙梦,庄俭,等.社区教育网站评价指标体系研究——以上海市社区教育网站为例[J].远程教育杂志,2014,(6):49-55.

[7]赵文静.数学教育网站评价指标体系的设计与建构[D].广州:广州大学,2006:27-28.

[8]郁晓华,祝智庭.电子书包作为云端个人学习环境的设计研究[J].电化教育研究,2012,(7):69-75.

[9]王晓晨,杨娇,陈桄,等.基于用户体验元素模型的电子教材设计与应用研究[J],中国电化教育,2015,(10):82-87.

[10]马玉慧,赵乐,李南南,等.新型移动学习资源——教育APP发展模式探究[J].中国电化教育,2016,(4):64-70.

[11]王婷,王楠.基于内容分析法的教育APP现状研究[J].中国教育信息化,2016,(12):83-87.

[12]Darejeh A, Salim S S. Gamification solutions to enhance software user engagement——A systematic review[J].International Journal of Human-Computer Interaction, 2016,(8):613-642.

[13]黄炜,李总苛,黄建桥.移动应用程序(APP)评价指标体系研究[J].图书与情报,2016,(3):110-117.

[14]杨军.中小学教育信息化评估指标体系构建[J].吉林大学学报(信息科学版),2015,(3):344-349.