应用型大学专业课程评教指标体系的构建与实证研究

张志雄， 黄海东， 殷志强， 叶雪云， 王日明

(1.北部湾大学 建筑工程学院， 广西 钦州 535011； 2.安徽理工大学 能源与安全学院， 安徽 淮南 232001； 3.北部湾大学 电子信息工程学院， 广西 钦州 535011； 4.北部湾大学 资源与环境学院， 广西 钦州 535011)

随着国民经济的迅速发展以及产业结构的升级，社会对高层次技术、技能人才提出了新要求，迫切需要通过新建、升格、改造等方式建立一批满足社会需要的应用型人才培养的新型高等教育机构——应用型大学[1]。特别是地方应用型高校要向培养应用型、技术技能型人才转变，专业建设需对标教育部主导的工程教育认证的标准[2-3]。课堂教学质量评价是工程教育认证的重要构成部分，其评价指标的科学性、客观性、有效性成为教学管理事务的难点问题[4]。目前国内一些高校评教体系的构建比较简单，由教学管理部门牵头，不分公共课与专业课，不分文理门类，设置统一的评教指标进行考核，多数评价结果仅用于绩效分配的参考，尚未起到通过评教促进教学质量提升的目的。

如何科学构建教学质量评价指标体系已成为当前国内学者探索的热点。刁衍斌等[5]基于CIPP模型建立体验式创业教学评价指标体系，以求改善创业教学质量；贾珍等[6]运用因子分析法探索反映教学本质的评价因子构建；翁发禄等[7]采用德尔菲法建立模块化培养教育质量评价三级指标体系及因子权重选取；赵馨蕊等[8]运用模糊层次分析法构建MOOC授课质量评价指标体系及实证应用研究；郑谦等[9]基于构建主义理论基础，从教学过程、师资配备、课堂环境以及质量管控4个维度构建应用型大学实践教学评教指标体系；邱文教等[10]以教师、学生、督导为评价主体，搭建了探究式课堂教学指标体系框架；崔铭等[11]通过改进BP神经网络算法模拟专家思维来实现大学教师双创教学能力的评价；曾志嵘等[12]依靠专家的知识和经验，采用德尔菲法群组决策来构建教师教学质量评价指标框架；蔡治华等[13]从教师视角出发建立评教两级评价模型及权重比例因子；徐微微等[14]考虑评教工作的整体性、导向性和直观性原则确定了教学评价指标体系与权重；张怡等[15]借助层次分析法建立了翻转课堂评教指标体系及综合评估模型；郭晶等[16]利用层次分析法开展汉语国际教育专业硕士点学位水平评估理论的探索；考虑学术性、差异性、互动性、导向性、可测性和成长性等因素，吴国誉等[17]提出“以学生为本”的发展性教学质量评价体系；蔡红梅等[18]运用多元统计方法研究了指标量间的内在结构关系，并建立了一个结构化的课堂教学质量评价指标体系模型。以上所涉及文献多聚焦于从教学管理部门视角进行大规模评教的研究上，也有部分学者开展了教师能力、实践教学、创新创业教学评价指标体系的研究，而针对特定专业课程精细化评教的研究较少。

笔者以北部湾大学工程造价专业建筑工程计量与计价课程为例，通过课程定位、评教目的分析，并组织专家与同行论证，构建初始评价指标体系量表；利用SPSS软件对问卷调查数据做统计，进行了信度检验与效度分析，剔除3个认同度不高的指标后，构建了一个5维度22个评价指标的量表。旨在运用模糊层次分析法分配指标权重，实现建筑工程计量与计价课程的教学质量评价与应用，为同类高校课程评价提供参考。

1 课程评价目的及方法选择

1.1 课程情况介绍

建筑工程计量与计价课程是工程造价专业学生的必修核心专业课，它以建筑施工、建筑结构、土木工程材料等课程为基础，要求学生熟悉工程造价相关法律法规及行业标准，掌握工程造价的计算方法，以培养学生开展建设项目结、预算及工程造价咨询能力为目的，是学生学习和从事工程造价工作的基础。

通过该课程的学习，使学生掌握建筑工程定额的基本原理、工程量计算的方法以及工程造价的确定。该课程要求学生掌握建筑工程消耗定额中人工、材料和机械消耗量和单价的确定，熟悉建筑工程费用的构成以及工程量的计量、综合单价的确定。通过课堂教学和作业练习，使学生掌握工程造价的计算方法和步骤，并了解工程造价的专业计算机软件的使用方法。学生通过知识学习与实操训练，获得运用计价理论进行计价操作的能力，尤其是施工图预算的编制能力。

1.2 课程评价目的

北部湾大学作为教育部学校规划建设发展中心“产教融合创新实验项目试点”基地院校，积极开展新工科背景下的产教融合探索，为了提升学生的综合能力，已从办学理念、专业学科群建设、人才培养方案修订、课程体系设计、教师队伍建设、评价和保障等方面发力，开展教学管理内涵建设。很显然，在内涵建设中，教学质量是塑造应用型高校特色专业品牌的重要保障。目前，高校教学评价仍然存在诸多的不足，例如目的不清晰、标准设置不合理、评教过程忽视待评对象的差异性、评教结果运用不合理等问题。

如图1所示，根据北部湾大学2017—2020年同行与学生评教统计情况发现：评教优秀率占教师比例的90%以上，良好率为3.7%～5.3%，合格占比0.2%～1.8%，未出现不合格情况。总体看，无论是同行评教还是学生评教给出的评分都偏高，不利于科学反映教学的真实情况。针对这种忽视评价对象差异的大规模统一评教问题，课题组成员结合工程造价教学实践，开展了专业课程精细化评教研究，希望实现“以评促教，以评促学，以评促改”的目的。

(a)同行评教

(b)学生评教图1 近4年的评教统计情况

1.3 课程评教方法的选择

评教指标权重的确定方法主要有以下几种：德尔菲法、因子分析法、层次分析法、CIPP评价模式、BP神经网络以及模糊层次分析法(见表1)。在方法选择时需要综合考虑待评对象的特点与组织条件[5-6,9,11-12,15]。本研究适合采用模糊层次分析法计算评价指标的权重，该方法的基本思路、步骤与Chang[19]提出的层次分析法一致。

表1 评教方法及其应用

2 课程评价指标体系的构建

2.1 课程评价指标的选取

本次专业课程评价基于成果导向教学理念与多元化评价理论，围绕工程造价专业核心能力培养及学科核心知识架构，充分考虑课程具备的核心功能要素及课程能力矩阵而开展针对性的课程教学效果评估。在工程造价专业人才培养方案的课程专业能力模块化构建中，为训练和培养学生建设项目概预算编制的能力，集成建筑工程计量与计价、安装工程计量与计价、工程造价软件应用、建筑工程计量与计价实训、安装工程计量与计价实训5门课程，形成目标达成模块化课程的体系支撑。

本课题以土建方向建筑工程计量与计价课程为研究对象，基于成果导向与多元化评价理论基础构建建筑工程计量与计价教学质量评价指标体系，对安装工程计价与计量、市政工程计价与计量等课程同样适用，课程授课质量评价及指标体系构建充分考虑了课程的地域性、时效性、实践性、规范性等特点。

构建评价指标体系步骤：(1)在理论论证的基础上，经专家讨论初步构建指标体系；(2)构建评教指标的问卷量表，在广泛调研统计的基础上，再次修正评教质量指标体系；(3)调整、修改问卷量表，再进行下一轮问卷调查。本次评教质量指标体系设计依据初次问卷调研，从25个初始指标(见图2)中剔除了“肯定”和“很肯定”的比例之和低于2/3的3个评价指标，即得分不足3.33的初始指标因子，分别为“课程预习复习，温故知新”“多网融合教学，远程教学”“课程章节测评，以考带学”。最后采用同行访谈、专家座谈讨论与函询的方式，对量表指标设置及表述进行修订，构建出具有教学准备、教学方法、教学过程、教学产出、教学效果5个维度22个指标的专业课程授课质量评价模型。

图2 课程初始评价指标因子得分

2.2 课程评价指标的确定

调查量表经专家小组讨论，确定5项一级指标，并初步构建出22项二级指标的量表。采用李克特的五标度量表测试，设置为“很反对”“反对”“一般”“肯定”“很肯定”5个标度。研究针对地方应用型大学的专业必修课教学质量问题，因此样本选取北部湾大学、广西财经学院、安徽理工大学3所开设有工程造价的应用型本科高等学校进行问卷调查，共计发出问卷860份，收回727份，剔除掉无效问卷后，得到有效问卷645份，回收率84.5%，有效率88.7%。数据处理后，采用SPSS软件进行分析。

(1)信度检验。 通过信度检验来研究量表工具所测得结果的一致性程度，基本上所有问卷信度分析均使用Cronbach’s alpha信度系数衡量，即量表的信度越高，代表量表越稳定，标志测量的可信程度更大。本问卷的统计结果表明，总量表的内在一致性系数为0.892，5个维度量表的内在一致性介于0.832与0.857之间，如表2所示，这一量表的信度系数都大于0.8，表明量表有着良好的信度，评价问卷可靠性很高。

表2 课程评价量表的信度检验

(2)效度分析。 量表所设题项经过修正处理，因此具备良好的内容效度。课题通过探索性因子分析进行结构效度验证，结果汇总于表3，抽样适合性检验值是0.912，为非常适合，且通过巴特利球形检验，巴特利球形检验值(近似卡方)是2 618.121(显著度为0)，表明本研究所构建的课程评教质量指标体系的结构效度良好。

表3 评价量表的抽样适合性检验和巴特利球形检验

2.3 课程评价指标权重的分配

(1)构建评价模型。 以建筑工程计量与计价课程教学活动作为评价对象，运用层次分析法思路将该系统划分为目标层、准则层、指标层和方案层4个层次，建立课程教学质量评价模型，如图3所示。

图3 课程教学质量评价模型

(1)

(2)

(3)

(4)

为构建判断矩阵，引入三角模糊函数改进层次分析法的1～9判断标度，建立与之对应的模糊标度，如图4所示。

图4 模糊标度几何分布

(3)权重的确定。 对于复杂问题的决策，通常将研究对象系统划分为若干个层次，再利用模糊层次分析法构建出模糊判断矩阵，并经过去模糊化、一致性判断、归一化处理，实现专家群组集体、科学决策，获得评价权重。其过程归纳为以下步骤。

步骤1：如图3所示，建立一个K层层次结构模型，K取4层。

(5)

(6)

(7)

(8)

步骤5:采用面积中心法[20]对模糊权重进行去模糊化处理：

(9)

步骤6:权重归一化处理：

(10)

(11)

(12)

步骤8:根据待评对象的评语构建一个集合V:

V=(V1,V2,…,Vm)。

(13)

步骤9:通过单因子模糊评价，可获得单因子评价矩阵：

(14)

步骤10:计算各子目标综合评价向量Bi。

Bi=WiRi(i=1,2,…,k)，

(15)

Bi=(B1,B2,…,Bk)T。

(16)

步骤11:采用式(17)计算总目标的评价向量C，获取最大隶属度，得到课程评价等级：

C=AB。

(17)

(4)构造模糊评语评价体系。 针对建筑工程计量与计价课程的教学质量评价具体要求，构建了5项一级评价集与22项二级单因子评价集组成的评教评语集。采用李克特量表计分，将具有相近概念意义的评语用认同度打分来总结计分，实际评语归类为5个等级：优秀、良好、合格、较差、很差。如表4所示，P1、P2、P3、P4、P5为考核考评小组主观评语，按照百分制界定“优秀、良好、合格、较差、很差”等级并形成评语集，以构建V= {9,7,5,3,1}集合(见表4)。

表4 模糊评价的标准

3 实例分析

根据课程教学质量评价模型(见图3)，并利用三角模糊函数构建的比较尺度标准，组织评教专家小组进行因素两两比较判断进行赋值打分后，经过步骤1到步骤7计算出各个层次的指标权重，运算利用MATLAB编程实现，计算结果汇总于表5。

表5 课程评价的指标体系

步骤8：构建课程授课质量的评语集合V=(优秀，良好，合格，较差，很差)。

步骤9：收集评教专家小组的意见，采用李克特量表计分，将相近概念意义的评语合并归类，形成5个等级单因子模糊评分，得到教学准备R1、教学方法R2、教学过程R3、教学产出R4、教学效果R5的各个指标隶属矩阵如下。

步骤10:利用式(15)、式(16)计算各子目标综合评价向量B。

B=(B1,B2,…,Bk)T=

(18)

步骤11:采用式(17)计算总目标的评价向量C，获取最大隶属度，得到课程教学质量评价等级。

C=WAB=(0.541,0.360,0.087,0.011,0.001)。

(19)

根据最大隶属度判断，可以计算得出评教结论为“良好”。按照百分制给分，可得该课程系统总得分:

D=90×0.541+75×0.360+60×0.087+45×0.011+30×0.001=81.43(分)。

4 结语与展望

本文通过构建建筑工程计量与计价课程“教学准备”“教学方法”“教学过程”“教学产出”“教学效果”5个维度对25个初始评价指标的量表调查数据，利用SPSS软件对量表指标信度进行检验与效度分析，剔除了3个认可度较低的指标，构建了一套针对该专业核心课程的精细化评价指标体系。统计分析发现，“理论联系实践，突出实用”“工程案例演练，注重实操”“教学实践产出，成果导向”“综合能力培养，学以致用”指标受到重点关注，获得权重相对较大，在一定程度上反映了专业课程设计需注重实践方面的能力培养。首先，工程造价专业课程突出以专业综合技能培养为主，教师应注重前序课程及背景知识引导，如建筑安装工程识图、施工技术与工业、房屋建筑学等，以工程案例为主，突出训练学生动手实操能力。其次，学生在工程概预算编制过程中，应围绕案例创设的问题情境，在实操过程中理解建筑工程计量与计价法规标准条款，养成规范作业的习惯。此外，随着社会对应用型技能人才的迫切需求，校、企之间人才无缝对接培养模式越来越受到重视，这与应用型大学开展深度产教融合教学改革趋同，符合地方大学人才培养目标。

本研究的应用价值在于对课程精细化评教指标的选取，形成了一套相对客观的评价指标体系，且适用于类似姊妹课程，如安装工程计量与计价、市政工程计量与计价等课程。问卷量表结合工程造价专业核心课程特点，构建出包含5个维度22个评价指标的体系，基于模糊评价分析法构建出专业课程教学质量评价模型，并引入三角模糊函数，考虑到专家比较判断评语的模糊区间，从而实现判断与指标打分定量化分析，经计算获得量化评价结果，可以较为全面、真实地反映教与学的协同效果，实现“以评促教、以评促学、以评促改”的目的。

不可否认，高校评教工作是一项细致且复杂的系统工作，本文针对专业课程构建的评价指标体系是基于土木专业特色构建的，而在实际教学管理工作中还需要充分考虑学科类别、专业背景、评价对象、主评机构及成果运用的差别。因此，建立有针对性的精细化课程教学质量评价体系之后，仍需在教学实践中不断优化，如何进一步优化课程的教学质量评价体系，将成为后续重点研究方向。