基于原始题植入的《现代教育技术》CAT题库建设

杨丹 刘汉明

摘要：本文在项目反应理论的基础上，提出了自适应参数估计数学模型，并根据模型，设计并实现了基于原始题植入的《现代教育技术》CAT题库建设方法，解决了样本采集异常困难、项目参数估计与等值问题，有效提高了题库的容量与质量。

关键词：原始题植入；《现代教育技术》；CAT；题库

中图分类号：Tp311.56 文献标识码：A 论文编号：1674-2117（2016）20-0088-06

● 引言

师范生教育技术能力测评是对应用能力的测评。计算机化考试（Computer-Based Testing，CBT）和传统笔试均未初估被试能力，常常导致出现“高者低测，低者高测”的情况。计算机自适应考试（Computerized Adaptive Test，CAT）能够根据被试者的作答情况不断地估计其能力，并选择难度合适的项目施测，主动适应考生实有水平，以达到“因人施测”的目的，这开拓了教育测量的新领地。近几年，计算机自适应考试逐渐被应用于师范生教育技术能力测试。

题库是影响自适应测试信度和效度的重要因素，题库的建设是CAT编制中最基础也是工作量最大的工程。课程题库是一个功能强大的平台，可以实现课程、学习者、教师以及管理者的有机连接，发挥助学、助教、管理及评价功能。[1]一个优秀的题库不仅要提供测试的题目，还要提供必要的试题参数，以确保自适应优质试卷的生成。目前，研究[2][3][4]主要关注以项目反应理论（Item Response Theory，IRT）为指导所做的项目分析、参数等值等工作，对《现代教育技术》CAT题库的建设、扩充鲜有提及。题库的重复使用，必然会使部分试题的曝光率升高，使其安全性受到威胁；且随着时间的推移，题库中的一些项目会因为存在缺陷、过时、过度曝光等问题需要用新题去替换或增补。[5]有研究指出，一个合适的自适应考试的题库容量必须在3000道以上，这样产生的标准差和偏差较小。[6][7]为了达到足够的题库规模，研究[8]通过网络征集试题和组织抽样测试建立题库，这虽然解决了试题源的问题，但存在试题曝光的风险和样本采集困难的问题。在试题参数处理上，张鸿尝试使用经典测量理论（Classical Test Theory，CTT）采集样本，结合项目反应理论的三参数模型，确定试题的3个质量参数。[9]用CTT采集样本解决了初始样本的问题，但若要动态扩充题库，仍存在再续样本采集困难的问题。同时，CTT采集的样本与IRT的三参数转换，也存在等值的问题。因此，现有题库建设仍存在以下不足：①初始试题建设容易，但动态扩充题库困难；题库量也不够大，远远没有达到自适应考试需要的题目数量[10]；②项目参数估计与等值的问题；③样本采集异常困难。

● 原始题植入

1.原始题植入

原始题是没有设置任何项目参数的试题。原始题植入是在被试者参加自适应测试的过程中插入原始题供多名被试者作答（但不参与能力估值），以收集被试者对原始题的作答反应，并根据这些反应对原始题进行项目参数估计。采用自适应参数估计法（Adaptive Estimating Method，AEM）扩充题库步骤主要有：①由命题专家命制一批原始题；②在CAT测试的同时植入原始题，获得原始题的作答反应，估出项目参数；③挑选出一批优质的原始题连同项目参数一并入库，成为正式测试试题。采用AEM方法有如下优点：一是无需单独寻找被试者对新题进行测试，成本低，安全性好。参与CAT测试的师范生数量巨大，解决了样本采集难的问题，而且原始题是在样本毫不知情的状态下植入，提高了试题的安全性。二是题库扩充方便，不受新试题量的限制。三是原始题是在CAT测试时植入，基于项目参数不变性的特点使其参数无需再做等值。

2.原始题自适应参数估计模型

项目反应理论是一种新兴的心理与教育测量理论，它突破了经典测量理论的局限性，将被试者特质水平与被试者在项目上的行为关联起来，并将其参数化、模型化。[11]根据这一理论建立的考试模型称为IRT模型，它以概率论来解释被试者对试题的反应与其潜在能力特质之间的关系。单参数Logistic（One-Parameter Logistic Model，1PLM）和双参数Logistic（2PLM）模型分别表示为、。其中D=1.7，参数为项目的难度参数；i表示项目作答次数；j表示项目数；表示第j个项目第i次被作答时的作答反应；为第j个项目第i次被作答时对应被试能力值； 表示能力为被试答对难度为的项目的概率；表示能力为被试答错难度为的项目的概率。

自适应参数估计方法[12]指在被试者参加自适应测试的过程中插入一些新的原始试题，并收集被试者对新题的作答反应，再对这些原始试题作项目参数估计。自适应参数估计模型是单参数和双参数模型的组合：被试能力值已知，采用1PLM条件极大似然估计法（Conditional Maximum Likelihood Estimation，CMLE）估计项目难度参数；将已估出的原始题的难度作为已知值，采用2PLM条件极大似然估计法估计原始题的项目区分度。

当被试能力值已知，采用条件极大似然估计分别对新项目的难度、区分度进行估计。由此可以得出似然函数：

（1）

（2）

对式（1）（2）的对数似然函数分别求二阶偏导数后，所得难度参数表达式是非线性方程，并使用Newton-Raphson迭代法求解，便可估出项目难度b和区分度a。

项目反应理论与经典测验理论相比最大的优点便是项目参数的不变性，所以估出的参数无需再做等值。

● 原始题植入的《现代教育技术》CAT题库建设

《现代教育技术》题库是CAT系统中最基础，也最为关键的工程。其不仅需要提供大量且分布科学合理的测试试题，而且每道试题还需提供必要的项目参数，以确保优质的自适应测试试卷的生成。

1.试题开发

试题开发包括制定命题规划和编制试题两个阶段。命题规划是题库建设的起点，也是关键点，对试题的规划不科学或不全面， 均会影响题库的质量。教育部颁布的《中小学教师教育技术能力标准》（以下简称《标准》）[13]从意识与态度、知识与技能、应用与创新和社会责任等方面解读了中小学教师的教育技术能力要求。考虑到师范生与在职教师的异同点和实际教学环境，笔者以《标准》的4个维度为基准，考虑教学目标、学科特性、试题分布、题量和师范生的特点，制定命题规划（如图1）。

2.试测、参数估计

为了保证试题的质量，试题编制好后需要对其进行质量分析， 包括定性分析与定量分析两个方面。[14]定性分析主要检查试题与测试目标的一致性，包括试题是否符合命题规划要求、测试内容是否有意义、试题表述是否清晰等。定量分析主要检查试题难度和区分度的合理性，采用联合极大似然估计法[15]估计试题的区分度a和难度b，保留区分度合适的试题，淘汰区分度低的试题；检查试题难度分布是否合理，如不合理则加以调整，以确保在测量各种特质水平的被试者时都有足够的试题。

3.试题组织方式

试题通常包括试题正文、选项、正确答案、试题参数等信息。在整理试题时，可以根据认知目标层次、内容、难度、区分度等进行分区。为了便于CAT在施测时选题，本题库根据区分度不同分区存储。

4.题库动态扩充

题库的重复使用，必然会导致部分试题的曝光率升高，从而使试题的安全性降低，如区分度高的题目经常会被使用。[16]为了有效降低试题的曝光率，不但要建立一个规模足够大、分布合理的题库，而且题库内容还要随时更新，以确保试题内容的效度和统计质量，保障题库的有效性和安全性。

（1）原始题开发

原始题的来源有三个：①由经验丰富的教师出题，可以确保试题行文通顺和目标指向；②从网络下载，依据命题规划挑选修改；③依据命题规划，以作业的形式布置学生出题，教师挑选修改，但不作为本班学生测试。值得注意的是，虽然第二个来源的试题来源广泛，但容易曝光，存在安全隐患。第三个来源的作业形式用语亲切、有趣，但行文不够严谨，需要教师做适度修改。

（2）原始题植入算法

在对考生做CAT施测过程中，插入的原始题必须是在不被考生察觉的状态下植入，且植入顺序由系统随机产生，同时其作答反应不参与被试能力的估值。系统要求每道原始题作答150次，每个被试者作答6道原始题，且同一原始题不能被同一被试者重复作答。原始题库中的原始题会随机地呈现给被试者作答，当所有被试者都完成CAT测试以后，用极大似然估计法对原始题的项目参数进行估计。

在被试者完成6道真题（已经设置好项目参数的用作估计被试能力的试题）的作答后，系统会每隔3道真题植入一道原始题。若被试者在完成25道真题之前信息量已大于25，则连续植入未被植入的原始题，算法如下页图2所示。

（3）原始题自适应参数估计

被试能力值已知，设难度参数的初值=0，采用1PLM条件极大似然估计法估计原始题难度参数b。之后，将已经估出的难度作为已知值，采用2PLM条件极大似然估计法估计原始题的项目区分度a。具体代码如下：

void AEM（NriScoreType* Ns， ItemsPara* IP）

{

int i， Nb；

double a0， b0， sP， f1， f2， Z， r；

//估计b

b0 = 0.0；

for（Nb = 0； Nb < 100； Nb++） {//N-R迭代

f1 = f2 = 0.0；

for（i = 0； i < Ns->Seta.size（）； i++） {

sP = 1.0 / （1.0 + exp（（-1.0） * D * （Ns->Seta（i） - b0）））；

f1 = f1 - D * （Ns->Score（i） - sP）；

f2 = f2 - D * D * sP * （1.0 - sP）；

}

if（f2 == 0.0） break； //如果f2为0，则迭代失败，退出迭代

else b0 = b0 - f1 / f2；

if（fabs（f1 / f2） < 0.01） break； //迭代精度小于0.01则终止迭代

if（b0 > 3.0） b0 = 3.0； //限制b上限为3

if（b0 < -3.0） b0 = -3.0//限制b下限为-3

}

IP->b = b0；

//估计a

Z = GetZ（Ns）；//计算Z

r = Z / b；

if（r < 0.0） r = 0.0；

if（r > 0.9486） r = 0.9486；

a0 = r / sqrt（1.0 - r * r）；

for（Nb = 0； Nb < 100； Nb++） {//N-R迭代

f1 = f2 = 0.0；

for（i = 0； i < Ns->Seta.size（）； i++） {

sP = 1.0 / （1.0 + exp（（-1） * D * a0 * （Ns->Seta（i） - b）））；

f1 = f1 + D * （Ns->Seta（i） - b） * （Ns->Score（i） - sP）；

f2 = f2 + D * D * （Ns->Seta（i） - b） ^ 2.0 * sP * （1.0 - sP）；

}

if（f2 == 0.0） break；//如果f2为0，则迭代失败，退出迭代

else a0 = a0 - f1 / f2；

if（fabs（f1 / f2） < 0.01） break； //迭代精度小于0.01则终止迭代

if（a0 > 3.0） a0 = 3.0；//限制a上限为3

if（a0 < 0） a0 = 0.0； //限制a下限为0

}

IP->a= a0；

}

（4）优质原始题入库

原始题的项目参数估计完成后，开始挑选优质试题入库。首先，审查原始题的区分度，淘汰区分度低的原始题，保留区分度合适的原始题。其次，为了保证新题与旧题的融合，调整原始题难度分布至科学合理。原始题入库后形成新的题库。再次，审查题库的区分度与难度的分布，并暂时屏蔽曝光率高的试题，以保证有足够多且安全的试题量适合各种特质水平的被试者施测。

● 模拟仿真

首先以标准正态分布模拟生成1000名被试者的能力真值～N（0，1），并产生编号和姓名等信息项后导入被试者信息表。然后模拟生成1000个区分度为a、难度为b的项目作为试题库，并导入题库信息表，项目区分度参数a和难度b的分布分别为对数标正态分布lna～N（0，1）和标准正态分布b～N（0，1），能力真值介于-3至3之间，b介于-3至3之间，a介于0.2至2.5之间。最后任意生成100个项目作为原始题并导入原始题信息表。

在原始题数为100、被试者为1000的情况下，令难度参数的初值=0，采用条件极大似然估计法估计项目难度参数。实验独立重复模拟30次，其结果如图3所示。

在原始题数为100、被试者为1000的情况下，采用1PLM估计原始题难度，再把已经估计原始题的难度作为已知值，采用CMLE方法估计原始题的项目区分度。实验独立重复模拟30次，其结果如图4所示。

ABS、RMSD值越小，其估计准确度就越高。实验结果表明，原始题的项目参数估计的精确度随其植入次数的增加而增加。

● 结束语

师范生的教育技术能力测评CAT题库建设还存在两个突出的技术问题：项目参数估计和等值。原始题在被试者进行自适应测试的过程中植入，解决了样本采集异常困难的问题，并保证了试题的安全性。采用自适应参数估计法对原始题进行参数估计，确保了项目参数的精度，并无需再做等值。随时更新题库的内容，确保试题的内容效度和统计质量，保障题库安全和测试公平，对自适应测试发展具有重要意义。本题库建设主要应用于客观题方面，并正在师范生的《现代教育技术》自适应测试系统中应用，效果良好，但如何做主观题原始题的参数估计还有待进一步研究。

参考文献：

[1]郑绍红.开放大学课程题库建设研究[J].中国远程教育研究，2014（1）.

[2]陈仕品，张剑平.《现代教育技术》精品课程自适应测试系统的设计[J].中国电化教育，2008（9）：93-96.

[3]邱红霞.基于Web的自适应测试系统的设计与实现——以《现代教育技术》国家精品课程为例[D].金华：浙江师范大学，2009.

[4]张倩倩.IRT在《现代教育技术》题库构建中的应用[D].济南：山东师范大学，2011.

[5]毛秀珍，辛涛.认知诊断CAT中项目曝光控制方法的比较[J].心理学报，2013（6）.

[6][10]田怀凤，袁琰，王立，陈玉泉.机助自适应考试（CAT）系统题库的仿真研究[J].计算机仿真，2005（7）：246-260.

[7]王建忠，张萍，等.考试系统中题库量与试题量的关系研究[J].计算机应用研究，2010（2）：611-613.

[8]余胜泉，何克抗.网络题库系统的设计与实现[J].中国远程教育，2000（9）：53-57.

[9]张鸿.计算机自适应题库的建立[J].电子技术应用，2009（8）：152-154.

[11]漆书青，戴海崎，丁树良.现代教育与心理测量学[M].南昌：江西教育出版社，1998.

[12]游晓峰.CAT中原始题项目参数的估计[D].南昌：江西师范大学，2008.

[13]特稿.中小学教师教育技术能力标准（试行）[J].中国电化教育研究，2005（2）：5-9.

[14][16]刘丽平，王文杰，等.计算机自适应考试（CAT）系统题库的设计与实现[J].计算机系统应用，2006（3）：10-12.

[15]Debevec P，YiZhou Yu，et al.Efficient Wiew-Dependent Image-based Renderiing with Perspective exture-Mapping[C].9th Eurographics Rendering Workshop，1998：105-106.

作者简介：杨丹（1978—），女，江西樟树人，讲师，硕士，主要从事现代教育技术、教学设计研究；刘汉明（1970—），男，江西南康人，副教授，博士，主要从事软件工程研究。

基金项目：江西省教学改革研究项目“基于原始题植入的《现代教育技术》CAT题库系统研究”（项目编号：JXJG-12-11-17）阶段性研究成果。