实验教学研究方法(2)：问卷设计

艾 伦



实验教学研究方法(2)：问卷设计

艾 伦

摘 要：讨论中小学实验教学问题研究中调查问卷的分类和设计。重点对问卷的信度、效度以及题目的客观、量化等问题进行分析和设计说明。

关键词：数据挖掘；信度；效度；客观；量化

中小学实验教学问题研究少不了采用问卷调研法，伴随问卷调研还需要进行访谈。本文将对调查问卷的设计方法进行较为详细的讨论，并在后面给出设计案例。

一、问卷的分类

一般情况下调查问卷可以分为两种类型，一种是用于假设检验的问卷调查与数据采集，另一种是用于数据挖掘的问卷调查与数据采集。两种问卷在设计上要求是不同的。

1.用于假设检验的问卷

假设检验的研究方法是事先对被研究对象建立一个假设(记作H0)，再选取合适的统计变量，使得该变量在H0成立时其分布为已知。通过问卷回收采集到的实测样本，用样本值计算出统计量的值，并根据预先给定的显著性水平做出拒绝或接受假设H0的判断。常用的假设检验方法有t检验、F检验、X2检验等，在教学问题研究中它们对样本空间的大小要求不高，一般为25以上就可以。

由于假设检验研究方法事先对被研究对象有了一个期望假设，并选取了统计变量，所以在设计调查问卷时必然选择与期望假设有关的一些问题，以便在将来能用它们计算出统计量的样本值。这种情况下设计出的问卷受到人为倾向的影响，在问题选取上不够广泛，采集到的数据其信息量受到限制。另外，在教育实验或教学实验研究的现实情况下，人们受到教育心理学研究的影响，在设计调查问卷时更加关注被试的心理感受和主观意愿，这使得问卷的问题通常失去客观性，而变量不具有客观性对科学判断是不利的。中小学实验教学是一个多变量、信息量巨大的复杂问题，我们对它的研究更多的是使用数据挖掘研究方法。而假设检验的研究方法和调查问卷是人们熟知和经常采用的，这里就不再进行讨论了。

2.用于数据挖掘的问卷

“数据挖掘是在大型数据存储库中，自动地发现有用信息的过程。数据挖掘技术用来探查大型数据库，发现先前未知的有用模式。数据挖掘还可以预测未来观测结果……”[1]显然，它是从大量的数据中通过算法搜索隐藏于其中信息的过程，使用的各种算法也大多都是基于统计学的。它与假设检验的最大区别是事先不做期望假设，但是对数据的依赖非常强，要求数据量要足够大。数据挖掘通常是通过统计分析、在线处理、情报检索、机器学习、专家系统和模式识别等诸多方法实现发掘隐藏于事物中规律的目的。

图1　本文逻辑思维导图

用于数据挖掘的问卷为保证最终得到的数据量足够大且不丢失信息，一般选取的样本数要非常多(应该在数百至数千甚至更多)，题目涉及的内容也必须覆盖研究对象的所有方面，因为我们并不知道即将得到的结论是什么。但是，这并非是说对样本数和题目范围不加限制，没有期望假设也并非没有明确的研究目标。其实在设计这种问卷前的准备工作应该是十分科学和规范的，需要对被试预先随机抽样，必须对变量进行严格选择。本文主要讨论用于数据挖掘问卷的设计问题。

二、数据挖掘问卷设计

用于数据挖掘的问卷具有一定的特点，在进行设计时必须逐一加以考虑，此处将对设计中最为重要的一些问题展开讨论。

1.问卷设计流程

下面按照先后顺序将问卷形成流程的各个环节开列出来。

(1)确定研究目的与研究对象。

(2)根据研究目的，针对研究对象用Delphi法找出所有相关变量。

(3)对变量进行分类，并要求它们满足正交性与完备性。

(4)形成问题框架，再根据该框架建立二维变量关系表。

(5)在二维变量关系表中填写将要向被试提出的问题，同时考虑它们的客观性、量化性，并应满足信度与效度要求。

(6)确定被测试的对象。

(7)撰写引导语，形成标准形式问卷。

2.客观与量化问题

问卷向被试提出一系列的问题期待人们的回答，被试在回答问题时其实正是在做一个判断，为使他们的判断满足科学性(尽量不使用价值判断与认知判断)条件，所提出的问题就应该具有一定的客观标准和量化水平。

(1)客观标准

该项要求就是尽量克服判断者的主观性，将主观问题转化成客观问题，把提问被试如何想的问题变成提问被试如何做的问题。例如，为了了解学生动手操作能力水平，可以提问“你觉得自己的动手能力强吗？”这就是一个主观问题，反映学生对自己能力水平是怎样考虑的。但是如果将问题改为“你的自行车坏了，你是自己动手修理，还是在别人帮助下修理，或者是送到修车部修理，或者干脆不修理而直接换一辆新的？”通过这种处理，问题就成为一个客观问题了，它不是反映被试如何想的，而是客观地反映被试是如何去做的。显然，客观问题的可信度远高于主观问题，因为被试回答客观问题时是在做科学判断。

(2)量化水平

一些问卷题目本身就是量化的，如向被试提问：“你们实验室的生均活动面积是多少？”但是还有大量的作为心理或生理感受的问题并不是量化了的，如题目的题干为：“你们实验室的灯光亮度适宜吗？”此时一般采用里克特5级分度量化，即对这个提问可以提供5个备选答案让被试选择，它们分别为：A.非常适宜，B.比较适宜，C.一般，D.比较不适宜，E.非常不适宜。此题为单选题，被试选择后对答案编码就可以得到量化的结果。

3.信度与效度

问卷的信度与效度是在问卷调研中人们最为关注、讨论最多问题，一份合格问卷的产生要求其所列出的题目必须同时满足信度要求和效度要求。

(1)信度问题

信度是指问卷中所提出的题目在回答后的可信程度(即一致性、可靠性以及稳定性)。为了增加题目的信度，常用的方法是：第一，将主观问题尽量变成客观问题。这种方法前文已经做了介绍。第二，围绕原问题再提出一些被称为是“测试条件”的相关题目。例如，向被试提问：“在教学使用中，您认为投影机亮度是影响投影效果的最重要因素吗？”这是一个主观题，并且不易做客观性转化而变成一个客观题。可以设想被试恰好是一位正在使用一台全新高亮度投影机的教师，并假设他并没有使用过其他低亮度投影机的经历，在没有比较的情况下他是不会对投影机亮度这个因素的重要性有正确的认知。所以，对于他回答这个题目的信度是很低的。为了提高这个问题的信度，我们必须同时增加一些起着“测试条件”作用的相关题目，如：“您正在使用的投影机其灯泡已经累计工作了多少小时？”“您曾经使用过几台投影机，每台投影机使用的累计时间数是多少？”“您使用投影机的教室是否挂上遮光窗帘？”等一系列客观题。在考虑了这些“测试条件”的情况下对原问题的回答进行综合判断并给予适当的加权，才能使结果具有高度可信性。规定与使用“测试条件”是数据采集中控制变量、降低干扰，从而得到可靠数据的有效途径[2]。

(2)效度问题

效度是指问卷中所提出的题目是否与该项研究的目标与目的切题，它反映了题目针对研究目标与目的中需要解决问题的有效程度(即有效性和正确性)。为了提高题目的效度，通常需要针对欲达到的目标与目的反复论证列出的题目。前文介绍了问卷设计流程，前面的部分是：“第一，确定研究目的与研究对象；第二，根据研究目的，针对研究对象用Delphi法找出所有相关变量；第三，对变量进行分类，并要求它们满足正交性与完备性。”其实，这些内容就是对问卷的有效性进行了规定，按照这些变量而设计出的题目应该都是高效度的。

(3)信效度测量

教育测量学上是非常重视测试的信度与效度的，并且提供了经典的公式和算法得到一份问卷精确的信度值与效度值。但是，这些计算只有在问卷回收、数据采集整理之后，才可利用采集到的数据进行计算和测度分析。它们可以真实地反映出我们采集到的数据的可信性与有效性如何，却无法在数据采集前对问卷的信度与效度进行控制。

(4)三角互证与多角互证

传统的问卷设计，为了提高问卷中题目的信度与效度还经常采用三角互证或多角互证的方法。在教育教学研究中的三角互证法就是将研究者、教师、学生这3个不同角色对问卷中一个问题的回答放在一起进行分析，从3个不同角度论证答案的真实可信性和正确有效性。而多角互证法就是让参与的角色更多一些(如增加教学主管、学校领导、学生家长等)，并通过除了问卷之外的访谈等形式多角度地验证问卷的信度与效度。显然，三角互证与多角互证都是在问卷回收与访谈进行之后，通过对结果的分析做出的判断，它们同样不能在事先解决问卷的信效度。

信效度测量和三角、多角互证都无法在设计阶段解决问卷的信度与效度问题。所以，要想使得设计出的问卷具有较高的信度与效度，就应该采用将主观题目客观化、给主观题目增加测试条件以及按照规范化的设计流程(科学选择变量)进行操作的方法对问卷进行预处理。

三、问卷设计举例

为了能够更加清楚地了解用于数据挖掘问卷的设计方法，我们通过一个中小学实验教学问题研究的实例具体说明问卷的设计流程。

1.确定目的对象

研究目的：发现实验教学对整个教学系统的作用。

研究对象：根据教学系统三分论[3]，研究对象应该包括教师和学生(主体部分)、实验教学内容(客体部分)以及实验教学环境与器材(教育装备)。

2.选择相关变量

运用Delphi法(详见本栏上期文章《实验教学研究方法(1)：测量与评价》)选择相关变量。对应上述确定的研究对象所选择的变量开列如下。

(1)教师教学行为相关变量：实验教学设计、实验教学组织。

(2)学生学习行为相关变量：学生分组协作情况、动手操作情况。

(3)实验教学内容相关变量：物理课实验、化学课实验、生物课实验、科学课实验。

(4)教育装备配备相关变量：实验室生均活动面积、器材先进程度、设备完好率。

需要说明的是此处开列的变量(项目)并不完备，只是为了举例说明方便(太多的变量文中不易展现)而将部分变量写出来的参考项目，与实际情况具有差距。

另外，分析后发现这些变量都应该属于输入变量，对于输出变量(即产出目标)可做如下设定。

(1)实验教学计划目标。各科实验教学计划情况，包括实验次数、实验内容等。

(2)实验教学实施目标。各科实验教学完成情况，包括完成人数、完成水平等。

(3)实验教学评价目标。各科实验教学评价情况，包括测量方法、评价结论等。

3.形成问题框架

论证变量的正交性与完备性。为了问题说明比较清楚形象，此处采用了坐标图像的方式(如图2所示)。

图2　变量框架坐标系

4.建立变量关系

根据变量框架建立变量之间关系的表格。因为输出变量共有3个(实验教学计划、实验教学实施以及实验教学评价)，所以应建立3个表格(见表1～3)。

表1　实验教学计划相关变量表

表2　实验教学实施相关变量表

表3　实验教学评价相关变量表

5.填写相关题目

在上述表格的相应单元格中填写相关的题目，表4显示了部分题目的填写情况。这样做的目的是为了保证问卷题目的完备性，同时保证了数据采集中不会丢失信息，因为信息的缺失将对后期的数据挖掘和得出的研究结论产生极大不良影响。

6.确定被测试者

在题目的后面标注出被测试对象，可以用符号代替，如：学生用S表示，教师用T表示等等(见表4)。

表4　题目填写举例(实验教学实施)

7.制作标准问卷

将题目按照被测试对象分类，分别形成针对不同对象的问卷。在问卷前面撰写引言、调查意义和填写注意事项等，并注意要有表示感谢的内容，最终形成一个标准的问卷。

参考文献

[1] [美]陈封能,斯坦巴赫,库马尔.数据挖掘导论:完整版[M].范明,范宏建,译.北京:人民邮电出版社,2011:2.

[2] 艾伦,兴乔.教育有没有大数据时代[J].中国教育技术装备,2014(4):5-6.

[3] 艾伦,兴乔.教学系统三分论[J].中国教育技术装备,2012(32):9-10.

作者信息

艾伦，教授，本刊特约撰稿人。首都师范大学，100048

Research Method of Experimental Teaching (2):Questionnaire Design

Ai Lun

Abstract:The classification and design of the questionnaire in the study of experimental teaching of primary and middle school. The reliability and validity of the questionnaire and the objective and quantitative of the questions are analyzed and designed.

Key words:data mining; reliability; validity; objective; quantification