基于CIRO培训评估模型的继续护理学教育效果评价指标体系的构建

蒲海旭，冯晓林，袁 群，刘红华，俞 纤，颜立春，张银华

湖南中医药大学护理学院，湖南 410208

继续护理学教育(continuing nursing education,CNE)是指护士在毕业后继续进行规范化的专业培训，以学习新知识、新技术、新方法的一种终生性护理学习方式[1]。随着社会对护士专业素养及能力要求的不断提高，护理人员需要在整个职业生涯中不断接受继续护理学教育，以增强自身业务能力，医院则期望通过开展继续护理教育提升院内整体护理质量，继续护理学教育的重要性已得到全球卫生行业的一致认可[2]。但研究指出，国内外当前开展的继续护理学教育在培训内容、培训方式、考核方法等设置方面存在诸多不足，直接影响了继续护理教育的培训效果，而构建全面、合理的继续护理学教育效果评价指标体系能对继续护理学教育进行客观评价，以发现其现存缺陷并加以完善，从而更好地提高继续护理学教育的培训效果，提升参与继续护理学教育的护理人员综合素质[3]。近年来，国外已通过应用柯氏模型、CIPP 模型等逐步构建出成熟的继续护理学教育效果评价体系，而国内目前仍然是通过护理人员参与继续护理教育后的满意度及理论考核和操作考核成绩等指标对培训效果进行评价，评价指标的设置随意性强，继续护理学教育效果评价体系亟待规范。CIRO 培训评估模型是由英国的Warr 等提出，评估模型由4 项评估活动组成，包括背景评估、输入评估、反应评估和输出评估，分别能对培训的必要性、可能性、有效性和相关结果进行全要素的评价，目前已成为最常用、操作性最强的培训评估模型[4]。因此，本研究基于CIRO 培训评估模型，并采用德尔菲专家咨询法和层次分析法构建继续护理学教育效果评价指标体系，旨在对继续护理学教育效果进行全方位评价，并为规范继续护理学教育效果评价提供科学可靠的工具。

1 研究方法

1.1 成立研究小组 研究小组由4 名成员组成，包括1 名具有博士学历的教授及3 名硕士研究生，研究领域涉及护理教育、护理管理等。研究小组内的成员负责检索继续护理学教育相关文献，对各级评价指标的内容进行商讨及确定，编制指标体系的初稿，联系确定函询专家，发放与回收问卷，分析处理数据等。

1.2 确定指标体系初稿 研究小组在查阅文献及半结构式访谈的基础上，结合现阶段继续护理学教育的实际开展情况和相关卫生政策，并以CIRO 培训评估模型为导向确定继续护理学教育效果评价指标体系的初稿。①查阅文献：检索Cochrane Library、PubMed、EMbase、EBSCO、中国知网、万方数据库、维普数据库、国际指南网(Guidelines International Net-work,GIN)、美国指南网(National Guideline Clearinghouse,NGC)、英国国家临床医学研究所(National Institute for Health and Care Exellnce,NICE)以及中国指南网(China Guideline Clearinghouse,CGC)等收集有关继续护理学教育效果评价的循证指南、证据总结、最佳实践、专家建议、系统评价、原始研究等类型的相关文献，并检索与继续护理学教育相关的卫生政策及法律法规。②半结构式访谈：对参与继续护理学教育的护理专业学生、护理管理者和护理教育专家进行访谈，通过整理分析访谈内容，并结合CIRO 培训评估模型，研究小组在经过讨论后归纳出4 个一级指标、12 个二级指标以、41 个三级指标。

1.3 制定专家函询问卷 在确定继续护理学教育效果评价指标体系的初稿后，制定专家函询问卷，问卷内容如下：①问卷说明，重点介绍研究的目的、研究意义及问卷填写的方法。②指标函询，即对各级指标进行函询，指标的重要性评分采用Likert 5 级评分法，从“非常不重要”到“非常重要”分别赋值1～5 分，并在各指标后设置“意见修改”栏和在各级指标最后设置“您认为需要补充的指标”栏。③专家情况调查，包括专家的基本信息调查表、内容的熟悉程度调查表、判断依据调查表。

1.4 选择函询专家 通过查阅文献，在评价指标体系的相关研究中，选取的咨询专家人数一般为15～50人[5]。本研究选取了17 位专家进行函询，专家纳入标准为：①从事护理教育及管理、临床护理及管理、卫生事业管理及护理科研工作；②相关工作经验≥10年；③本科及以上学历；④中级及以上职称；⑤参与积极性较高，并保证有时间完成专家函询。

1.5 实施专家函询 2020年6月—8月，通过采用发送电子邮件等方式开展了2 轮专家函询。第1 轮专家函询共选取了17 位专家，在问卷收回后，研究小组依据专家函询结果及专家意见对指标体系内容进行讨论，并对部分条目进行增添、修改与删除。在间隔21 d后，研究者对17 位专家进行第2 轮函询，避免函询结果因记忆影响而出现偏倚[6]。2 轮函询均要求专家在1 周内完成函询问卷的填写并返回给相应邮箱，研究者则按照指标筛选原则对2 轮函询中变异系数＞0.25、重要性赋值均数＜4 分以及满分率＜40%的指标进行删除。

1.6 统计学方法 采用Excel 2010 和SPSS 21.0 统计软件对数据进行处理分析，所有数据均由双人录入。其中，定性资料采用频数及百分比表示；定量资料则采用均数、标准差以及变异系数表示。

2 结果

2.1 函询专家一般情况（见表1）

表1 函询专家一般资料（n=17）

2.2 专家积极性 专家的积极性反映专家对本研究项目的关心程度，使用问卷有效回收率表示，一般≥50%。本研究共进行2 轮咨询,第1 轮专家函询发放问卷17 份,回收有效问卷17 份,问卷有效回收率为100.0%,并有8 名专家提出修改意见；第2 轮发放问卷17 份,回收有效问卷16 份,问卷有效回收率为94.1%，并有6 名专家提出意见，表明专家对研究问题的积极性高，对该研究较为重视。

2.3 专家意见权威程度及协调程度 专家权威系数（Cr）是专家在本研究领域权威程度的量性评价指标,用熟悉程度系数（Cs）和判断依据系数（Ca）的平均值表示，Cr＞0.7 表示可信任程度较好，Cr＞0.8 说明专家有较大把握[7]。2 轮函询的专家权威系数分别为0.880，0.889,说明专家的权威性较高，函询结果具有较高的可信度。专家意见协调程度用肯德尔和谐系数（W）表示，取值范围为0～1，W 值越大表示协调程度越高。2 轮专家函询的肯德尔和谐系数分别为0.423，0.576，差异具有统计学意义(P＜0.01),表明2 轮专家意见趋于一致。

2.4 专家函询结果 第1 轮专家函询结束后，研究小组依据指标筛选标准和专家意见对各项指标进行讨论，增设2 项二级指标，包括“时间资源”“患者认可”；修改1 项二级指标，将“培训改进”改为“质量控制”；删除1 项二级指标，“学科发展”；增设11 项三级指标，包括“患者的需求”“提高患者护理满意度”“国家或政府对培训项目经费投入”“科室对培训在时间上的支持”等；修改2 项三级指标，将“提升科研水平”改为“提升科研水平及创新能力”，将“教学和科研水平提升”改成“护理学科水平提升”；删除7 项三级指标，包括“护理专业发展需求”“改善护理人员的工作态度”“提高医院整体护理质量和水平”“促进护理专业发展”“组织建设增强”“丰富护理理论”“提高护理实践水平”，并形成了第2 轮专家咨询表，包括4 项一级指标、13 项二级指标、45 项三级指标。

第2 轮专家函询结束后决定修改5 项三级指标，将“临床教师资源”改为“临床师资”，将“培训班授课资源”改为“培训班授课师资”，将“讲座授课资源”改为“讲座师资”，将“网络授课资源”改为“网络授课师资”，将“患者护理满意度提高”改为“患者对护理服务满意度提高”；删除1 项二级指标“医院发展”；删除2 项三级指标，“提高患者护理满意度”和“提高护理服务质量”，最终形成基于CIRO 培训模型的继续护理学教育效果评价指标体系，包括4 项一级指标、12 项二级指标和43项三级指标。采用层次分析法计算各层级指标权重及组合权重，见表2。

3 讨论

3.1 基于CIRO 培训评估模型构建的继续护理学教育效果评价指标体系理论依据充分,制定过程严谨，具有较好的科学性 本研究以CIRO 培训评估模型为框架，在查阅文献、半结构式访谈以及小组讨论的基础上制定了基于CIRO 培训评估模型的继续护理学教育效果评价指标体系的初稿,之后采用德尔菲专家咨询法的标准程序进行2 轮专家函询,初步构建出继续护理学教育效果评价指标体系,并采用层次分析法确定各层级中各指标的权重，使得指标体系得以量化,研究方法与步骤较为严谨，具有较好的科学性。研究结果的可靠性由函询专家的代表性、积极性、权威性及意见协调程度等确定[8]。本研究遴选的专家长期从事护理教育、护理管理及临床护理等工作，并均作为学生或老师深入参与过继续护理学教育，在该研究领域具有一定的理论知识和实践经验，专家意见具有较好代表性。2轮专家函询的问卷回收率分别是100.0%和94.1%，且提出建议的专家分别占总函询专家的47.1% 和37.5%，表明专家具有较高的积极性。2 轮专家函询的专家权威系数分别为0.880，0.889，同时函询专家的职称及学历显示其具有较高的权威性。2 轮函询专家的肯德尔和谐系数分别为0.423，0.576，具有统计学意义(P＜0.01)，表明专家对各指标的函询意见较为一致。采用层次分析法计算各层级指标的权重，并在进行一致性检验后发现一致性比率均＜0.1，说明各层级指标的权重设置合理[9]，结果具有科学性。

3.2 基于CIRO 培训评估模型构建的继续护理学教育效果评价指标体系能对继续护理学教育效果进行全程、全面评价，评价结果具有较强的可靠性 目前，有多种培训评估模型被应用于继续护理学教育效果评估中，主要包括柯氏模型和CIPP 模型等，为继续护理学教育效果评价提供了一定的科学依据。有研究指出，当前所应用于继续护理学教育效果评价的模型多存在局限性，如柯氏模型是以结果为导向的培训绩效型评估模型，培训者多注重于对培训结果的评价，而未能对培训需求、培训目标、培训内容等进行整合及全面评估，以至于缺乏对继续护理学教育的整体性评价[3]。CIPP 模型则注重于对继续护理学教育的过程进行详细评估，但忽略了对结果层面的精细化评价，且因存在评估耗时长、复杂性高等问题，其实用性仍有待检验。本研究以CIRO 培训评估模型构建的继续护理学教育效果评价指标体系能对继续护理学教育进行全程效果评价，包括评估其在开展继续护理学教育前是否充分了解各方需求并合理设置培训目标，开展继续护理学教育过程中的学习方式、师资配置、培训内容、质量控制等环节内容的制定是否恰当，开展继续护理学教育后培训结果的考核方法及评价方式的设置是否合理等，高度体现了继续护理学教育的系统性，评价内容全面、可靠。

3.2.1 充分了解各方培训需求并合理设置培训目标是有效开展继续护理学教育的前提 准确地对护理人员学习需求及各方对护理服务的需要进行全面评估，并以此为基础确定培训目标是开展继续护理学教育课程的第一步,其对后续各环节及培训效果有着深远影响[10]。本研究构建的背景评估中包含培训需求和培训目标2 个二级指标和7 个三级指标，而二级指标中的培训需求权重高于培训目标，且培训需求组合权重（0.169）在所有二级指标中位列第二，提示在实施继续护理学教育课程前进行培训需求评估确有其必要性,这与Ni 等[11]学者的研究结果相似，同时也与教育学中课程开设的理论要求相契合。然而,目前相关研究发现我国在评估继续护理学教育培训需求内容时常以护理人员个人需求层面为主进行,评估方式则是使用自行设计的问卷对护理人员进行调查，导致对继续护理学教育需求的评估欠缺科学性，评估结果应用的效果欠佳[12-13]。国外学者Boet 等[14]则指出，继续护理学教育培训者常根据自身临床经验及主观价值对培训的需要进行判断，并以此设定培训目标，制定培训计划，从而导致学员被动参与继续护理教育，且继续护理教育的培训内容与临床实际存在脱轨，进而出现了护理人员参与的积极性不高、参与后收获不大等情况。因此，建议继续护理学教育组织者在开展继续护理学教育前可采用科学、统一的标准全面收集不同群体对教育培训的需求，以明确培训目标，并合理设置培训内容及培训结果评价方法。

3.2.2 选择恰当授课方式及权威教师并获得社会各方支持是继续护理学教育顺利开展的重要保障 多样便利的学习方式、强大雄厚的师资力量以及国家、单位和家庭在经济与时间上的支持等是继续护理学教育得以顺利开展的重要保障，决定着继续护理学教育的培训效果[15]。我国当前的继续护理学教育培训方式较为传统（主要包括学术会议、学术讲座、专题讨论会等），仅仅依靠传统的继续教育方式进行继续护理学教育已远不能满足护理专业精细化发展的需求，国内继续教育方式急需改进优化。此外，我国在开展继续护理教育中还存在培训师资队伍教学水平参差不齐、护理人员因工作繁忙或家庭和经济等方面原因在参与继续护理教育上存在困难等问题，严重阻碍了继续护理学教育的开展[16]。本研究构建的输入评估中包含学习资源、师资资源、经费资源和时间资源4 个二级指标及13个三级指标，能够充分对继续护理学教育的教育方式、师资配置以及各方支持情况进行全面评估，进而判断开展继续护理学教育的可能性，并发现其在设置学习方式、配置授课师资、协调参与各方等工作上存在的不足，以客观综合评价继续护理学教育的培训效果并明确改进方向，促进继续护理学教育的发展。在输入评估的二级指标中，师资资源所占权重最大，表明专家一致认为继续护理学教育的师资资源配置对培训效果有着重要影响，这与李虹等[17]的研究相一致。因此，建议加强继续护理学教育师资队伍建设，从教育能力、业务水平、个人修养等方面选拔继续护理学教育授课教师，并构建出一套科学完善的继续护理学教育师资队伍选拔、准入、培训、测试、监督等多位一体的综合体系。

3.2.3 继续护理学教育实施过程决定培训结果，而培训结果则是培训效果最为直观的体现 国内外研究均已指出，继续护理学教育管理者在实施继续护理学教育过程中合理应用各种资源充实培训内容、高效组织培训以及建立培训反馈调节机制等能使护理人员在参与继续护理学教育后掌握更多实用性的知识和技能，丰富培训结果的同时也增强了培训效果[16]。国内目前开展的继续护理教育培训内容中涉及临床护理、护理教育、护理管理、护理科研、专科护理等方面，培训内容覆盖面较全,但存在针对性不强、实用性不够、创新性不足等问题,无法充分满足护理人员希望获取新技能、新知识及各方渴望获得高质量护理服务的需求[18]。此外，国内继续护理学教育在开展时还存在组织形式不规范、反馈调节机制不健全等问题，导致护理人员参与继续护理教育的积极性低，并常以获得继续教育学分为目的而被动参与，甚至出现了护理人员直接购买学分的现象,对继续护理学教育事业发展造成了巨大冲击[19]。本研究构建的反应评估中包含培训内容、培训组织、培训方式和质量控制4 个二级指标及15 个三级指标，能对继续护理学教育的教学内容设置是否实用前沿、继续护理学教育组织者是否合理应用各种资源丰富了培训开展方式及考核方式、继续护理学教育管理者是否建立了监督反馈机制全面把控继续护理教育的实施过程等进行全方位评价，进而发掘出继续护理学教育在实施过程中的不足并加以改进，以增强护理人员参与继续护理学教育的积极性，并使其在参与后得到更多收获。输出评估则包含自我提升和患者认可2 个二级指标及8 个三级指标，且输出评估的权重（0.332）在所有一级指标中排名第一，而自我提升和患者认可2 个二级指标的组合权重分别为0.198，0.133，在二级指标中位列第一和第三，表明专家一致认为继续护理学教育的培训结果是继续护理学教育培训效果最为直观的反应，且应从护理人员及病人等角度多方位评价培训结果，这与郝艳青等[20]的研究结论相似。因此，建议继续护理学教育在实施过程中通过不断提高培训质量来吸引护理人员积极参与，并注意设置规范化的考核方式对培训结果进行总结和确认，以保证继续护理教育的培训效果。

4 小结

本研究以CIRO 培训评估模型为框架，通过文献回顾、半结构式访谈、专家咨询、层次分析法以及小组讨论制定了基于CIRO 培训评估模型的继续护理学教育效果评价指标体系，包括4 项一级指标、12 项二级指标和43 项三级指标，能对继续护理学教育的全过程进行全面评价，具有较好的科学性和可靠性。但由于时间及条件的限制，研究团队目前还尚未使用该指标体系进行实证研究，下一步将开展该指标体系的实践应用进一步检验本次构建的继续护理学教育效果评价指标体系的实用性及可操作性，并不断进行修正，最终形成一套全面、可行的继续护理学教育效果评价工具，为规范继续护理学教育效果评价提供参考。