场馆学习项目评价指标体系研究

苟江凤 王楠

[摘   要] 随着非正式学习概念的出现，场馆学习作为自然情境下发生的一种非正式学习行为，逐渐受到广泛关注。在基于场馆的项目学习中，由于学习者对学习目标、学习行为、学习路径拥有完全自主的控制权，如何对场馆中的教学项目进行评估成为研究者关注的重点。基于此，研究以构建场馆学习项目评价指标体系为目的，从场馆中教学项目评价问题出发，对场馆学习项目的含义进行界定，通过文献分析、比较研究和德尔菲法，在场馆学习项目评价现状综述的基础上，确定了包含5个一级指标、18个二级指标、57个三级指标的场馆学习项目评价指标体系。最后，采用层次分析法计算各个指标层次的权重，并对权重进行合理性分析，为我国场馆学习项目的实施提出相应的建议，促进我国场馆学习项目的发展。

[关键词] 场馆学习; 学习项目; 项目评估; 评价体系

[中图分类号] G434            [文献标志码] A

[作者简介] 苟江凤（1994—），女，甘肃庆阳人。硕士，主要从事教育信息化、STEM 教育及场馆学习研究。E-mail：gjf0524@126.com。

一、引   言

2020年10月，教育部、国家文物局发布《关于利用博物馆资源开展中小学教育教学的意见》，明确提出要将博物馆资源融入教育体系，以进一步促进馆校合作机制[1]。《美国新媒体联盟地平线报告（博物馆版）》中提到，“跨机构合作”将会在未来五年及更远的一段时间内成为长期的发展趋势[2]。不论是国外主张的“场馆与协会联盟”，还是国内提倡的“馆校合作”，都在不同程度上促进了场馆学习项目的发展。在以往研究中，因不同研究者对“场馆”的定位不同，如将其定位为博物馆、美术馆、科技馆和天文馆等，导致出现了各种与科学、历史、艺术教育相关的场馆学习项目。这些项目为公众学习科学知识、培养科学精神提供了便利条件，但随着项目的开展，如何保证项目的可行性、有效性以及实施后的效果也是不容忽视的问题之一。因此，本研究将基于德尔菲法和层次分析法构建场馆学习项目评价指标体系。在场馆学习项目概念的界定上，将其界定为在场馆中开展的、有具体目标的一系列教学任务活动，该活动必须具备完整的教学设计过程，在特定的时间、预算、资源的基础上，依照一定的规范输出學习成果，这里的场馆包括科技馆、博物馆和美术馆等，不包括露天场所，如动物园。

二、场馆学习项目评价现状

国外场馆学习多以项目的形式开展，对其的评价分为三种类型，包括博物馆的认证制度、展览前后进行的测量和政策或业务的绩效评估。博物馆认证制度由非营利组织专业协会制定评价标准并进行认证，如美国博物馆协会的认证制度。展览前后进行的测量主要是为了向民众普及教育，采用正式或非正式的调查，包括前置评价、形成性评价和总结式评价，如访客参与框架[3]。政策或业务的绩效评估分为战略评估和绩效评估，一般是由第三方企业完成，如新西兰国家博物馆及我国台北故宫博物院评价指标[4]。国内的场馆学习尽管以项目形式开展，但以项目形式进行的评价研究较少，评价内容多关注学习效果、观众满意度、数字化资源等方面。如有学者认为，场馆学习评估中学习结果的评价是非常重要的维度，在其具体指标构建上，借鉴美国非正式环境科学教育委员会提出的“六个科学学习目标要素”框架评估学习结果，可以更好地促进非正式学习者科学能力的提升[5-6]。除此之外，王楠从“行为—效果”和“隐形能力”出发构建了以项目建设、管理运行、社会评价、教学效果为内容的博物馆学习项目评价体系[6]。张燕从场馆数字化资源质量视角，构建了包括资源内容、资源组织、资源呈现、资源使用在内的数字化资源质量评价指标体系[5]。

基于以上综述，发现国外场馆学习项目的研究较为普遍，主要根据场馆类型采取不同的评价方式，而国内更偏向于项目整体、资源建设、学习效果的评价。总体来看，国内外的研究中关于场馆学习项目的评价指标体系研究较为缺乏，但不难发现，场馆学习项目评价作为场馆学习的重要组成部分，其已有的研究为我国本土化场馆学习评价指标体系建构提供了指导。

三、场馆学习项目比较分析

为了解国内外已有场馆学习项目评价指标体系，通过文献检索，发现国内外关于已有评价指标体系的文献较少。因此，扩大检索范围，以“博物馆学习”or“科技馆学习”&“项目评价指标体系”进行检索，确定与本研究相关的已有评价指标体系7个，见表1。

通过对7个评价指标体系的比较分析发现：（1）在一级指标的共性方面，观众参与程度和效果指标是场馆评价较为关注的指标。7个评价指标体系中，有4个评价指标体系的一级指标直接或间接关注到了观众参与程度。有5个评价指标体系提到了效果指标，其中，已有评价指标体系的效果指标不仅涵盖具体的学习效果，还包括场馆学习后取得的社会影响。（2）在已选取的评价指标的类型上，认证类的评估可衡量场馆的建设标准，如建设注重教育活动中合作性的场馆。绩效评估为场馆运营盈利提供保障，如更关注场馆的运营、规划、管理，以实现场馆的绩效目标。而项目式的评估有助于促进项目的可持续发展，这与项目的系统性、完整性、周期性相得益彰，更有利于对场馆项目进行评估。

四、研究设计

本研究提出的场馆学习项目评价指标体系在研究方法的选取上，采用定量和定性相结合的方法，综合应用文献分析、比较研究、德尔菲法和层次分析法。其构建路径包括两方面：其一是基于文献分析和比较研究，整理提出场馆学习项目预评估框架;其二是通过德尔菲法构建评价指标体系的各级指标，应用层次分析法计算指标体系中各层级的指标权重。最终确定出场馆学习项目评估体系。

（一）初步确定场馆学习项目预评价指标

CIPP模式是斯塔弗尔比姆（Stufflebeam）在泰勒行为目标模式的基础上首创的决策导向评价模式。该模式提出的主要目的是促进决策者对教育进行改进，以提供更多的反馈信息，其过程包括背景评价（Context Evaluation）、输入评价（Input Evaluation）、过程评价（Process Evaluation）以及成果评价（Product Evaluation）[12]。本研究基于CIPP模式确定了“项目投入”“项目活动”“项目实施”“项目效果”“项目影响”5个一级指标框架，在文献研究的基础上，析出部分指标，通过征询专家意见，确定了19个二级有效观测指标、54个三级有效观测指标。

（二）基于德尔菲法确定场馆学习项目评价指标体系

1. 专家咨询小组

本研究通过筛选，确定了7位专家咨询小组成员，包括北京高校的学术研究者、场馆教学的一线教师和项目管理者。研究过程中，通过专家自评和分析得出专家的权威系数（Cr），结果表明，第一轮和第二轮的Cr分别为0.744和 0.764，都大于0.70，可判断出专家预测具有一定的权威性，其预测的可信度较高。

2. 评价指标修订

通过计算各指标的满分频率、均值和中位数来测量专家的意见集中程度;通过计算标准差、变异系数和协调系数来测量专家的协调程度。结合两轮专家意见咨询，调整相关指标，专家对各级指标的重要性达成一致认识。例如：在第一轮意见咨询中，根据专家反馈将“A1项目规划”调整到二级指标“B1 项目规划”中。最终，所有专家同意第二轮确定的评价指标，形成了如图1所示的评价指标体系。

（三）基于层次分析法确定场馆学习项目评价指标体系权重

基于上文确定的评价指标体系，采用层次分析法确定各指标的权重，其过程包括建立层次结构模型、构建判别矩阵和进行归一化处理，在最终权重的确定上，计算的是各层次评价指标的加权平均数，最终计算出各级指标的权重值。

五、场馆学习项目评价指标体系

通过德尔菲法，本研究最终形成了场馆学习项目评价指标体系的5个一级指标、18个二级指标、57个三级指标，具体内容见表2。

六、指标权重合理性分析

（一）项目效果指标

场馆学习项目评价指标权重计算结果见表2，项目效果指标权重为0.3091，在一级指标中排首位。这说明在场馆学习项目中，学习后取得的效果是判断项目是否有价值的最主要的依据。如美国科学基金会（NSF）在非正式学习项目中，通常将NSF提出的评估框架用于项目效果的评估，项目效果评估是整个项目结项前必须实施的一项工作[13]。受一级指标项目的影响，二级指标中的目标达成度权重为0.1968，这与项目基于目标而开展活动的含义相契合，而对于学习者，通过场馆学习项目后发生了什么样的改变是国内外学者普遍重视的问题。如美国非正式环境科学教育委员会提出非測量科学学习的框架——六个科学学习目标要素，关注激发学习科学的兴趣、理解科学知识、积极参与科学推理、不断反思科学、能够参与科学实践以及认同科学事业[14]。这与评价指标中知识、兴趣、态度、行为、技能（0.1594、0.2714、0.1692、0.0584、0.1448）五个维度评价的内容相一致，其中，兴趣的投入占比为0.2714，也反映出场馆学习后可以引起学生的兴趣，有利于发展学生的创造能力。而行为的改变权重相对于其他指标而言较低，究其原因，可以发现行为的改变是很难量化的指标，同时场馆非正式的学习环境会激发学生的好奇心，对行为的改变作用不大。

（二）项目保障指标

项目保障指标权重为0.2257，见表2，说明在场馆学习项目评价中，项目保障是需要引起重视的基本指标。在项目保障的二级指标中，项目外部支持权重为0.3518，其次为项目设施条件，权重为0.3490，两者较为接近，说明项目保障中外部支持和设施条件都比较重要，设施条件包括项目实施的场地和支持活动开展的基本设施两个三级指标，能够实现项目的内部保障，权重分别为0.1309和0.2181;最后是项目经费保障，权重为0.2992，主要体现在项目能够获得社会资金或国家资金的投入，而运行项目的经费充足权重为0.0499，这与项目前期规划相适应，前期准备较充足，在项目运行的过程中相对而言经费就不是非常重要的指标因素。内部和外部师资具备胜任能力或经过专业培训权重为0.1347，是项目外部支持三级指标中相对重要的指标，良好的师资可以让项目具有鲜明的特点，吸引更多的学习者。

（三）项目活动设计指标

项目活动设计是场馆学习项目评价的基础，也是本研究中场馆学习项目存在和发展的核心，权重为0.1886，其二级指标权重排序为项目活动组织形式、项目活动内容、项目规划和教辅工具的积极使用（0.3323、0.3000、0.2914、0.0763），见表2。可以看出，项目活动组织形式位于首位，这与场馆非正式的学习环境密不可分，要体现出活动组织形式与活动目标、内容具有匹配性（0.1356）。项目活动的内容和组织形式权重较为接近，说明内容的设计和活动的组织形式是相辅相成的。项目规划中三级指标最为重要的是项目目标陈述清晰明了（0.0931），权重较低的是项目的适用范围、开展频次说明，究其原因，发现项目是动态发展的，在实施过程中需要不断调整。教辅工具的积极使用相对于其他三项指标权重较低，原因包括：教辅工具除了传统教辅工具外，还包括一些新兴技术，部分场馆可能不完全具备这样的条件;其次，在其使用上，也需要专业人士进行指导。

（四）项目实施和项目影响指标

项目实施和项目影响指标的权重分别为0.1732和0.1034，见表2。项目实施作为项目进程中重要的一部分，其二级指标中活动探究互动（0.4108）权重最高，这与学者John Falk和Lynn Dirking认为在场馆学习中与他人进行互动是最有效的学习方式相得益彰[15]。不管是自主探究活动还是小组合作学习（0.2311和0.1797），对场馆学习都是非常重要的。其次为项目开展形式，权重为0.3011，较为重要的是能够在活动中体现学生为中心、教师为辅，为学生创造更多发现问题、解决问题的机会。评价与反思的权重为0.2881，场馆项目学习注重过程性评价，但在人工智能大环境的影响下，学习分析的综合测评技术得到了更多人的青睐。

项目影响的二级指标中，观众认可度的权重为0.7813，社会认可度权重为0.2188，说明场馆学习项目的最终目的是得到学习者的认可和社会认可。在观众认可上，愿意重复参与相关项目（0.4232）比受众对项目活动的形式和效果的评价满意（0.3581）更重要，地方党政部门对项目的肯定和支持（0.1230）比专业评估人员的总体感受和判断（0.0957）更重要。

七、对我国场馆学习项目发展的建议

我國场馆学习项目的发展尚处于初步探索阶段，在本研究构建的场馆学习项目评价指标体系中，发现我国场馆学习项目存在不完善的问题。在活动组织形式、项目效果评估、教辅工具使用和师资建设等方面发展不健全。结合本研究提出的场馆学习项目评价指标体系及专家指导的建议，对我国场馆学习项目发展提出以下建议：

（一）创新场馆学习活动方式，有针对性地进行评价

采取多元化的活动组织和评价方式，创新场馆学习活动方式和评价形式。以学生需求为导向，重视内容设计的正确性、科学性和特色性，有针对性地开展不同组织形式的活动。例如：组织开展以展览为主的辅导讲解活动，在互动的过程中有利于学生具身体验并获得真实感;开展以动手操作为主的工作坊等结构性的教育活动，有助于培养学生实践中的问题解决能力;开展科学营等有一定周期的综合性教育活动，学生可在固定的时间段、地点参加不同主题的活动，活动内容更为广泛。在评价方式上，学习者在场馆学习项目的动态过程中，要结合观察法、个人意涵图、跟踪计时法和基于大数据的学习行为分析等过程性评价，以及访谈、小测验等总结性评价，针对不同的活动采取不同的评价方式。

（二）鼓励合理使用教辅工具，辅助开展教学

合理使用教辅工具，强化学习体验，实现个性化学习。积极倡导使用传统教辅工具，如纸质版的学习单、学习手册、辅助读物、口袋书等，学习单不仅有利于教师对学生的学习结果进行评估，而且有助于学生对所学内容进行记录和反思，从而强化学习体验。鼓励使用新兴技术教辅工具，例如：尝试使用智能或虚拟学习工具等个性化软件辅助教学，采用人工智能技术支持下的智能手环、情绪识别工具以及第三方平台学习分析的综合测评技术，采集学生学习行为数据并分析，给学生推荐个性化的学习资源，实现个性化学习。

（三）加强师资联合培养，提升教师专业化水平

构建多元化的培养路径，促进教师专业化水平的提升。首先，加强师资队伍的建设，为场馆学习项目提供专家指导，确保项目顺利开展;其次，构建多元化的培养路径，通过教师研修、双师课堂、短期培训、联合教研等方式，为内部和外部尚未具备胜任能力的教师提供培训，在双方合作交流的过程中了解场馆资源的构成和学校的教学内容，使其更好的融合发展[1]。

（四）注重项目效果评估，发挥优秀项目示范引领作用

关注项目成果和学习成果的输出，示范引领场馆学习项目发展。首先，通过效果评估了解项目的执行情况，从而更精确地了解项目中每一部分所发挥的具体作用、项目预期完成的目标以及最终输出的成果，不断调整以促进项目的发展，从而形成优秀的示范项目。其次，关注学习成果的输出，这里的学习成果不仅是作业、作品等的输出，也涵盖学生自身水平的提升，项目学习成果的输出，有利于获得学习者的认可，从而发挥示范引领作用。

[参考文献]

[1] 教育部.教育部 国家文物局关于利用博物馆资源开展中小学教育教学的意见[EB/OL].（2020-09-30）[2020-10-28].http：//www.gov.cn/zhengce/zhengceku/2020-10/20/content_5552654.htm.

[2] A·弗里曼，S·亚当斯·贝克尔，M·卡明斯，E·麦克尔罗伊，C·盖辛格，B·尤恩科，高茜，许玲，韩世梅，吴亚婕，张铁道.新媒体联盟地平线报告：2016博物馆版[J].开放学习研究，2016（5）：1-13.

[3] BARRIAULT C. The science centre learning experience： a visitor-based framework[R]. UK：University of Glamorgan，1998.

[4] 刘伟杰.博物馆绩效评量探讨：以纽西兰国家博物馆及中国台北故宫博物院为例[J].博物馆学季刊，2008，22（4）：109-125.

[5] 张燕，梁涛，张剑平.场馆学习的评价：资源与学习的视角[J].现代教育技术，2015（10）：5-11.

[6] 王楠，郭朝晖.博物馆学习项目评价体系构建研究——基于博物馆学习实验室的探索[J].电化教育研究，2017，38（11）：96-101.

[7] ROSWITHA P. Quality in museums and libraries： a comparison of indicators[J]. Performance measurement and metrics，2008，19（2）：90-100.

[8] Inspiring Learning for All. General learner outcomes[EB/OL].[2020-02-16].http：//www.pahoahis.org/general-learning-outcomes-glo.html.

[9] DOUGLAS W. Measuring museum meaning： a critical assessment framework[J]. Journal of museum education，2006，31（1）：41-48.

[10] 黄小勇.大型科普活动评估方法研究[D].哈尔滨：哈尔滨工业大学，2006.

[11] 周婧景，陆建松.博物馆未成年人教育项目评估研究[J].东南文化，2015（2）：118-128.

[12] STUFFLEBEAM D L， MADAUS G F， KELLAGHAN T. Evaluation modles： view points on educational and humman services evaluation[M].Boston： Kluwer Academic Publishers，1983.

[13] National Science Foundation. Primer for the informal science education （ISE） project monitoring system[EB/OL].（2013-10-07） [2020-02-10]. http：//inform alscience.org/im ages/research/ISE_OPM S_Prim er.pdf.

[14] FENICHEL M， SCHWEINGRUBER H A. Surrounded by science： learning science in informal environments[R]. Washington： National Research Council，2010.

[15] BARRY L， GAIL D L. The manual of museum exhibitions[M]. UK：AltaMire Press，2001.