面向即时数据采集的经验取样法:应用、价值与展望

2019-07-08 02:25卢国庆谢魁张文超刘清堂张妮梅镭
电化教育研究 2019年6期
关键词:研究方法

卢国庆 谢魁 张文超 刘清堂 张妮 梅镭

[摘   要] 经验取样法是一种在自发、自然的情境下,多次采集人们在事件发生时的主观体验的方法。“互联网+”时代,不断涌现的新技术与工具促进了经验取样法的发展,使之成为教育研究与应用领域的新手段。传统上,经验取样法借助辅助工具(如闹钟)提醒被试,使被试在随机或事件发生等诸多瞬间自我报告,从而达到自动采集自然情境下即时数据的目的。与其他自陈测验方法(如问卷法)相比,经验取样法是一种测量个体随情境、时间而变化的研究方法,在时间与空间上更加接近于真实情境,有利于降低被试的社会期许与回忆偏差。该方法强调在学习发生的真实情境下纵向动态地开展教育研究,侧重学习者内在状态的真实性与情境性,关注个体内在学习体验的动态性与规律性,有助于提升教育量化研究的质量与精度。

[关键词] 经验取样法; 研究方法; 即时数据

[中图分类号] G434            [文獻标志码] A

[作者简介] 卢国庆(1988—),男, 河南周口人。博士研究生,主要从事学习分析、学习投入研究。E-mail:luguoqing

101@qq.com。谢魁为通讯作者,E-mail:xie.359@osu.edu。

一、问题的提出

在社会科学研究领域,传统的数据采集大多采用自陈测验(Self-report)的方式,如前测、后测,来获取个体的社会和心理状态。一般而言,传统的自陈测验采集到的数据具有一定程度的滞后性和延时性,尽管该方法对于解决一些科学问题具有一定的成效,但由于测验时被试已经脱离了事件发生的情境,传统自陈测验能否捕捉到真实生活情境中个体的真实行为和主观体验已经逐渐被学界关注[1-2]。经验取样法(Experience Sampling Method,ESM)是一种有效的即时数据采集的方法,能够提高自陈测验的准确性和有用性。国外学者应用该方法取得的优秀研究成果越来越多,而国内学界尤其是教育领域对经验取样法的研究仍比较缺乏。

众多研究者已经意识到经验取样法在教育研究领域的应用潜力[3-4],将这种方法视为一种收集“真实”数据的新方法[5]。目前,国内外研究者对经验取样法都有详细的介绍[6-8],但主要集中在社会心理学、临床心理学、组织行为学等领域[9-10]。Zirkel等虽然介绍了该方法在教育领域应用的优势潜力以及在应用中可能遇到的问题[3],但这种研究方法在教育领域所适用的情境和经典应用案例尚未得到介绍,研究价值也缺乏深入的探讨。鉴于此,本研究梳理了近年来国内外关于经验取样法在教育领域应用的研究文献,结合经验取样法的发展,总结经验取样法与传统自陈测验的区别以及经验取样常用的四种方法。接着,通过列举与分析经验取样法在国外教育领域顶级期刊中的应用案例,从技术和方法层面,探究现有的研究如何把经验取样法应用到教育领域中,并对研究主题的应用价值、未来趋势和存在问题进行展望。本研究为教育研究领域引入了一种更接近“事实”的纵向数据采集方法,进一步丰富了教育研究方法。通过采集即时数据,经验取样法在教育领域的应用有助于提高教育研究的质量。在应用层面,本研究一方面有助于新技术和工具在经验取样法中的应用;另一方面,通过介绍经验取样法在教育领域中的适用主题,并结合前沿应用案例,以期帮助教育研究者更好地认识、理解和应用该方法,拓展研究主题,进一步探究个体在不同情境中的学习变化规律。

二、何为经验取样法

经验取样法也称生态即时评估法(Ecological Momentary Assessment,EMA),是一种在自发、自然的情境下,研究某事件发生时个体即时性反应(包括行为、认知、情绪等)的测量方法[11]。经验取样起源于测量个体的沉浸体验(Flow)[12],属于自陈测验的一种,传统上要求被试随身携带一个电子传呼机或者带闹铃的腕表,每天电子传呼机或者腕表会以随机的时间间隔发出响声,被试在听到铃声后即时填写一份有关沉浸状态的自陈测验。

(一)经验取样法的发展

经验取样的研究始于20世纪80年代,最早采用纸笔测验(Pencil-and-Paper Measures)[13-14]。在初期,一些研究者采用了寻呼机[15]、手表[16]作为辅助设备,发射信号提醒被试。一般而言,传统的经验取样在数据收集上对于研究者和被试都是劳动密集型的,且数据分析困难,这些缺点严重阻碍了经验取样法的发展。随着移动技术的蓬勃发展,手机、PDA等移动设备得到普及,使得依赖于简单定时器的传统工具支持的经验取样法逐步发展为移动技术支持的经验取样法,具体见表1。

与传统的经验取样设备相比,移动设备具有普适性、便捷性、情境感知等优点,逐渐成为经验取样的最佳工具。移动技术支持的经验取样法是指在移动终端上安装已开发的采样应用程序,并利用这些辅助设备,在真实情境中多次收集被试的即时数据的方法。针对不同的移动平台有许多经验取样工具 [17-23],例如:MyExperience[23] ,采用了三层架构,即感应层、触发层和动作层,通过位置传感器、用户交互和设备状态等,记录用户的使用日志,并通过量表收集用户的主观体验,如图1所示。

(二)经验取样法与传统自陈测验的区别

典型的科学研究包括理论基础、数据搜集与数据分析三个阶段[24]。经验取样法与传统的自陈测验在理论、数据来源、数据收集和数据分析四个方面存在着差异。在理论方面,经验取样法注重在事件发生过程中测量被试的即时数据;数据来源方面,经验取样法的数据来源于真实情境,具有真实性;数据收集时间的差别决定了经验取样法的特征和优势(见表2);在数据分析方面,传统自陈测验侧重于个体间(Between-person)的一般规律,而经验取样法更关注个体层面(Within-person)的研究。Larson等应用经验取样法,随机对儿童玩伴、地点和情感等即时数据进行收集,研究不同年龄段的儿童(9~15岁)的日常经验。研究发现,随着儿童年龄的增长,与父母在一起的时间显著下降,年龄较大的学生是年龄较小的学生的一半[25]。如果用传统自陈测验收集这些数据,即使这些青少年很配合研究,他们也许不能针对不同的情境给出准确的回答。但是,经验取样法能够为研究人员获取这些即时数据提供可靠的方法,能够准确反映个体的自然、社会和心理生活。

(三)经验取样的四种方法

经验取样法的核心特征是“取样”,即实地、实时地收集个体在真实情境中的即时数据。经验取样有四种常见的取样方法,分别是随机取样(Random Sampling)、固定采样(Fixed Sampling)、基于事件的采样(Event-focused Sampling)[3,6]、情境感知经验取样(Context-aware Experience Sampling)[21-22],研究者可以根据研究需要选择不同的取样方法或将多种方法相结合使用。

随机取样是指在随机的时间获取被试的即时体验。这种取样方法一般适用于情境和时间宽泛的研究场景。Shumow等以手表作为信号发射工具,采用随机取样法,调查了学生在不同情境下做家庭作业时的主观体验,并探究了这些主观体验与学业成果、社会情感结果的联系[27]。通过经验取样法,研究者能够更加真实地了解学生做家庭作业的情境,如他们在哪里、与谁一起做作业等。而这些情境因素将有助于进一步探究學生做家庭作业的效果。

固定取样要求被试在特定时间或按特定的时间间隔进行测量。有研究者借助电子记录设备(如Electronically Activated Recorder,EAR[17]),按照固定的时间间隔收集数据,如每隔5分钟采集一小段被试环境的音频,或间隔2~4小时收集一次被试的即时体验。与其他取样方法相比,采用这种取样方法获得的数据更加具有时间维度上的结构性,可帮助分析各个变量在时间参数上的变化,并对之进行评估。

基于事件的取样是为特定的事件而采集数据的方法。当研究人员对特定的事件感兴趣时,可以选取这种取样方法。研究者如果对学习伙伴是否影响学习参与感兴趣,可以在学生每次与朋友一起学习时,测量学生的即时体验[3]。Xie等以iPAD为载体,利用基于事件取样的方法,对大学生课外学习习惯进行了研究,并发现基于事件的取样方法能显著提高取样的准确性和效率[28]。总之,基于事件的取样的目的是让数据采集更接近于事件发生的真实情境。

情境感知经验取样是21世纪初新兴的一种经验采样方法,它通过计算感知和传感器技术,自动侦测事件,触发取样,完成数据收集。通过多种数字化技术,记录学习的即时体验和行为等,研究者不需要过多地依赖自陈测验数据和人格因素对测验产生的偏差[29]。例如:可穿戴设备(如手环、头盔等[30])作为数据收集的载体,能实现对学生相关指标的追踪记录;心电、脑电、眼动等生物传感器获得的生物数据具有真实性、情境性、可视化、精确定量及多维度等特性[31],有利于把握学生的情绪和认知状态的变化。

三、经验取样法在教育领域中的应用

(一)经验取样法在教育领域的应用情境

经验取样法在教育领域中的应用主要关注个体在学习过程中的行为、认知和情感的表现。由于学生在学习过程中的行为、认知和情感表现是复杂的、多维的,并随着学习的时间和情境变化不断发生波动,因此,个体的学习行为具有个体波动的规律性,个体的认知和情感是极易受到环境影响的存在状态。正因如此,经验取样法在国外教育领域中,尤其是学生投入度、主观体验和学习环境信息的捕获等方面,逐渐得到重视和应用。经验取样法在课堂、实验室、家庭作业、网络学习、非正式学习等不同的情境已经取得了相关的研究进展,见表3。可见,经验取样法在国外教育领域的应用情境多样,通过移动技术、采集器和传感器等,能够捕捉到个体在不同学习情境中的行为数据、多模态数据、学习体验和心理状态等。

(二)经验取样法在教育领域的应用案例

经验取样法在教育领域应用的研究主要包括不同情境因素(时间位置、学习活动、学习伙伴等)对学生情绪、情感、认知和行为的影响;在更细粒度上测量元认知、自我调节学习;不同学习环境下生物数据表征,认知负荷的衡量;网络环境下知识的获取、保留和迁移的影响因素;学习者行为特征的抽取及其变化规律等。下面分别选取了传统工具支持的经验取样、移动技术支持的经验取样两个案例,对如何运用该方法探究学习投入和主观体验进行分析。

1. 传统工具支持的经验取样在课堂学习投入中的应用案例

我们选取了传统工具支持的经验取样在课堂学习投入(Learning Engagement)应用中的研究作为案例。学习投入是一个多维的结构,在不同的研究中,其概念和分类有细微的差别。但是总体来说学习投入包括行为、情感和认知投入三个维度[39-40]。影响学习投入的因素有很多,学校、教师、学习伙伴等外在环境因素和个体因素(性别、年龄和个体认知等)都会影响学生的投入[39-41]。

Schmidt等采用震动寻呼机作为辅助工具,从学习活动和学生选择两个方面探究课堂学习投入的影响因素[32]。此研究主要选用基于事件的取样法和视频内容分析法,对综合性高中的12个教室的科学课进行了长期的跟踪。研究分别在秋季和春季两个周期对数据进行采集,在数据收集的每个周期内,采用经验取样法对科学课上学生的学习体验进行了连续五个工作日的重复测量。参与测试的学生携带震动寻呼机,在科学课上,选择两个随机的时间点隐蔽地向寻呼机发射信号。为了最大限度地降低对课堂的干扰,且能够尽量多地采集课堂活动的信息,此研究将每个班级的学生分为两组,每组有不同的信号发射安排。学生收到发射的信号之后,需要花费1~2分钟填写一个简单的李克特量表,这些量表简洁地记录学生在收到信号时所做的活动及他们的主观体验。此研究共收集了4136个响应表单,经验取样信号的响应率达91%,而参与者没有响应信号的原因一般是请假或旷课。通过聚类分析得到学生参与科学课的投入的瞬时投入剖面(Momentary Engagement Profiles,MEPs)。根据这些剖面,研究对象被聚为六类,分别是:(1)低投入型,即行为、情感、认知三个维度的投入都偏低;(2)勉强投入型,代表中等程度的行为投入,而情感、认知投入偏低;(3)理性投入型,代表较高的认知投入,而行为和情感投入较低;(4)愉悦投入型,代表情感投入偏高,而其他维度的投入偏低;(5)中等充分投入型,代表三个维度的投入处于中等水平;(6)充分投入型,代表三个维度的投入处于高水平。研究表明,大部分学生在课堂学习投入的某一维度上偏高,而在另外的维度偏低;三个维度都偏低,即低投入型,占22%;而三个维度都偏高,即高投入型,仅仅占了11%。此外,该研究通过卡方检验验证了学习活动、学生的选择与学生即时投入的关联。与传统的变量指向方法(Variable-oriented Approaches)不同,该研究采用了个体指向的研究方法(Person-oriented Approaches)探索个体在具体的课堂学习情境中的内在变化、个体间学习投入的内在差异及其影响因素。

2. 移动技术支持的经验取样在非正式学习中的应用案例

移动技术支持的经验取样为深入探究非正式学习提供了一种有效的研究方法。余胜泉等认为,非正式学习指在正规学校教育或继续教育之外,在工作、生活、社交等非正式学习时间和地点接受新知的学习方式,具有个性化、随机性、多样性、知识来源多元化等特点,它是教育技术人员亟待研究的一个新领域[42]。从教育传播的视角看,非正式学习一般是由学生自主安排,没有固定的技术或媒体作为中介实施干预,并且在学习环境、学习材料、学习目的、学习伙伴、学习工具等方面表现出富于变化、各式各样、模糊不明等特点。那么,如何准确获取非正式学习情境下学生学习的主观体验、个体行为和认知等即时数据,成为有效探究非正式学习的学习主体的内在状态及变化规律的关键。

Xie等以智能终端作为取样工具对非正式学习环境下学生的行为、认知、情感和自我调节等进行了实证研究[28]。此研究选取了133名师范生作为样本,周期为两个学期,每个学期分前测、中测、后测三次测量,分别测量非正式学习环境下学生的认知、情感投入度及学生的自我调节水平。中测采用经验取样法,第一个学期采用固定取样方法,第二个学期采用基于事件的取样方法,两种经验取样均是通过智能终端实现。该研究比较了经验取样法与传统的自陈测验的区别。研究发现,经验取样能够更细粒度地采集非正式情境下学生的行为数据。通过时间与空间上的视觉呈现,研究者可以更准确地分析学生的行为参与。传统自陈测验中,存在着被试社会期许性的问题[43],即学生在前测与后测中更偏向于回答社会希望他回答的结果。研究证明,经验取样在时间与空间上更加接近于真实情境,因而在某种程度上降低了这种反应心向。此外,该研究将固定取样与基于事件的取样进行了比较,发现后者在很大程度上提高了非正式学习中数据采集的精度,提高了教育研究的准确性。移动智能设备不仅开辟了非正式学习的“新战场”[44],而且逐渐成为研究非正式学习领域的有效的“取样”工具。

四、经验取样法在教育领域中的应用价值

(一)侧重学习者内在的主体性与真实性

教育研究既要重视宏观的群体,也要兼顾“每一个个体的真实”。经验取样法强调在学习发生的地方研究学习,侧重于学习者内在状态的真实性、情境性,在一定程度上体现了教育研究中学习者的主体取向。经验取样法主要测量个体的日常学习、生活所经历的情感、想法、行为、情境和活动等,通过在自然情境下研究个体学习的体验和行为,更关注个体学习的真实性和普遍性。与传统自陈测验不同,经验取样法的测量发生在学习事件过程中,能够最大限度地接近学习事件发生的真实情境,研究学习者“此时此刻”的主观体验及行为。相对于传统的问卷调查、访谈等研究方法,它能降低传统自陈测验的误差,更接近真实体验。经验取样法使我们更了解个体在不同情境中的学习行为、认知和情感状态及变化规律。研究者采用经验取样法,以新的方式捕获即时的个体体验、情感和行为等,以此来研究学生的真实体验,并有助于更好地了解主体和环境是如何塑造这些体验的。通过经验取样法,我们能够探究一些新颖而有趣的教育问题,例如:学生、教师和学校管理者是如何真实地投入或参与到学习、教学和管理中的,进而能够帮助我们更真实地了解教育情境如何塑造个体的行为、认知及其他社会化结果。

(二)关注学习者内在的动态性与规律性

通过探究学习情境中个体内在的变化,经验取样法更关注个体内在学习体验的动态性与规律性。传统自陈测验往往侧重于个体间的研究,所收集的信息仅仅是学习者对相关事件和体验的“回忆”,不能有效地反映个体波动的规律性。经验取样法是解决微观个体视角的跨层次研究的重要方法[5]。通过跟踪测量,研究者能够获得不同时期内个体在学习中的即时认知、情感和行为等数据,以及这些变量随时间动态变化的规律,以便更加精确地获得学习者的“真实”感受。这些纵向数据在统计学上的价值,尤其在“个体层次探索”上,是其他统计方法所不能相比的。这些变量的变化轨迹及对其他变量的影响,有助于进一步探究不同情境中个体内部思想、情感和学习行为的规律性变化。

(三)提高教育量化研究的准确性与生态性

量化研究是实证科学范式的产物,在教育研究领域扮演着越来越重要的角色。经验取样法是提高自陈测验的数据准确性和有用性的重要工具[45],与传统自陈测验相比,经验取样法在削弱反应心向、降低回顾性误差等方面具有一定的优势[46-47],有助于提高教育领域量化研究的质量,提升教育领域量化研究的精度。学习的发生过程具有主体性和情境性。学生在学习过程中的行为、认知与情感易受情境因素的影响。班杜拉的交互决定理论强调个体、环境和行为相互影响,交互决定[48]。虽然“环境”不是个体行为改变的决定性因素,但是对于个体的沉浸体验、学习投入、注意力和目标导向等具有重要的影响。通过经验取样法,更真实地探究情境因素与变量间的关系,从微观视角探索、解释个体行为的情境动力。经验取样法作为传统自陈测验的补充,对于不同情境下个体学习的研究有一定的潜力和价值,有助于提升教育领域量化研究的准确性与生态效度。

五、经验取样法的研究展望

(一)研究主题将聚焦情境对个体学习的影响

目前,经验取样法已经广泛应用在情绪、参与、压力等具有情境化特点的研究领域,研究其过程性以及在事情发生时个体的认知和感受。同样,学习过程具有情境化特点,情境认知理论认为,“个体”和“环境”都是同一个学习系统中的要素,两者相互作用[49]。所以从情境的视角研究学习者的行为与感受,可以挖掘学习者在不同学习情境中的行为、认知和情感的客观规律。从技术角度来看,以前没有收集学习者即时数据的工具,而且数据分析与数据管理受到了技术的制约。但是,随着信息技术的发展,这些问题都得到了解决。当收集到足够多的个体学习即时的纵贯数据时,就可以发现不同情境下学习者认知、情感和行为的客观规律。因此,不同情境對个体学习的影响将受到更多的关注与研究。

(二)移动技术支持的经验取样将成为趋势

移动技术支持的经验取样能够有效降低对被试学习和生活的干扰。研究者应当充分利用和开发相关应用程序,借助学生随身携带的移动设备(如智能手机、智能手表),动态采集即时数据[50],经无线移动网络上传数据库,更好地实时动态监测。鉴于目前缺少开源的、适配的经验采样移动程序,那么,开发相应的经验取样程序是必不可少的,这类采样工具应该充分利用移动设备的内置采集器、传感器等。然而,对于教育研究者来说,开发一套经验取样应用程序,在技术上还是有一定的难度,这就需要包括计算机、心理学、教育技术学等领域的研究者相互合作。可以想象,随着类似研究的开展,将有更多开源的经验取样工具供教育研究者使用。随着信息技术的发展,人工智能、物联网和大数据等新一代信息技术将进一步助力经验取样法的发展与创新,由此,经验取样法将能更智能地检测个体学习事件,预测学习发生的时间,提高数据捕获和事件响应的效率,降低重复测量带来的疲劳效应等。

(三)进一步提升经验取样法的内部效度

经验取样法具有很强的潜在“入侵性”,对被试有很强的依赖性和服从性。重复的、密集的数据采集可能增加被试的负担,从而改变其真实的反应,产生新的期望效应[10],如何提升研究的内部效度成为研究者在方法设计与研究操作中需要关注的问题[8]。技术进步降低了数据收集和分析的难度,有助于提升经验取样的内部效度。在信息获取和记录技术方面,利用移动设备的内置采集器、传感器等能够对学习者当前所处的环境有所“感知”,并将环境信息(如位置、噪音、光线)和学习者的生物数据(如温度、心跳、眼动)进行自动记录。这些客观的数据相比传统自陈测验的数据,具有更高的内部效度。在实际研究过程中,需要研究者明确被试的学习时间安排,确定合理的取样时间框架,如在被试学习或训练结束后立即收集数据[51]。研究者可以借助新的移动工具,完善研究设计,提高被试的响应率,如采用智能手机感知学生的位置信息、采集学生的行为数据等。

六、结   语

數据的质量是量化研究的灵魂。教育大数据时代,面向即时数据采集的经验取样法备受关注。本研究通过分析目前国内外经验取样法在教育领域的研究现状,厘清了经验取样法的发展脉络,界定了经验取样法与传统自陈测验的区别,从技术和工具的视角对经验取样法在教育领域中的典型应用案例进行了归类剖析,介绍这些案例的取样工具、应用情境及研究结果,充分肯定了其在教育领域中的研究价值,并对相关研究主题、支持工具和内部效度等做了进一步展望,以期为经验取样法在我国的研究与实践应用提供借鉴。我们下一阶段的重点是设计并实现移动经验取样应用程序,并用来收集学习者在非正式学习过程中的环境信息和内在状态,以探究环境因素对学习者非正式学习的影响。

[参考文献]

[1] STONE A A,BACHRACH C A,JOBE J B,et al.The science of self-report:implications for research and practice[M].New York: Psychology Press,1999.

[2] DAVIES C,HATTIE J C. The dangers of extreme positive responses in Likert scales administered to young children[J].International journal of educational and psychological assessment,2012,11(1):75-89.

[3] ZIRKEL S,GARCIA J A,MURPHY M C. Experience-sampling research methods and their potential for education research[J]. Educational researcher,2015,44(1):7-16.

[4] HEKTNER J M,SCHMIDT J A,CSIKSZENTMIHALYI M. Experience sampling method:measuring the quality of everyday life[M]. California:Sage Publications,2007.

[5] 张银普,骆南峰,石伟. 经验取样法——一种收集“真实”数据的新方法[J]. 心理科学进展,2016,24(2):305-316.

[6] BOLGER N,LAURENCEAU J P. Intensive longitudinal methods:an introduction to diary and experience sampling research[M].New York:Guilford Press,2016.

[7] CONNER T S,LEHMAN B J. Getting started: launching a study in daily life[M]//MEHL M R,CONNER T S. Handbook of research methods for studying daily life. New York:Guilford Press,2012.

[8] 李文静,郑全全.日常经验研究:一种独具特色的研究方法[J].心理科学进展,2008(1):169-174.

[9] 张银普,石伟,骆南峰,等.经验取样法在组织行为学中的应用[J].心理科学进展,2017,25(6):943-954.

[10] 段锦云,陈文平. 基于动态评估的取样法:经验取样法[J]. 心理科学进展, 2012,20(7):1110-1120.

猜你喜欢
研究方法
浅谈数学学习情感评价的研究方法
浅析开放经济环境下应用经济学研究方法
新形势下现代医院财务管理模式创新研究
关于“学案导学,分层互动”教学模式中学情的研究
谈谈翻译史的研究方法
社会主体研究方法在中国特色社会主义体系中的运用