在线协作学习交互效果评价方法的实证研究*
——基于信息流的分析视角

于俊辉 郑兰琴

（北京师范大学 教育学部教育技术学院，北京100875）

在线协作学习交互效果评价方法的实证研究*
——基于信息流的分析视角

于俊辉 郑兰琴【通讯作者】

（北京师范大学 教育学部教育技术学院，北京100875）

协作学习的评价是计算机支持的协作学习领域的重要内容。文章把协作学习交互效果界定为小组共同的知识建构水平，运用基于信息流的协作学习评价方法对在线协作学习的交互效果进行评价，而定义总激活量、聚焦程度、深度三个指标可评价协作学习的交互效果。研究结果表明：三个指标均能有效反映协作学习的交互效果，说明基于信息流的协作学习评价方法适用于在线协作学习的评价。

协作学习；评价方法；信息流

引言

在协作学习中，交互是激发和产生共同知识的基本活动单元[1]。在交互中，学习者通过建立积极互动的正依赖关系来获得良好的协作学习效果[2]。研究表明，对协作学习评价反馈可以有效地激励学习者的参与积极性，提升学习者的个体责任感，增强学习者之间的正依赖关系，从而提高协作学习的交互效果[3]。Strijbos[4]指出，对协作学习的评价，学习过程的质量与学习结果同等重要。然而，目前大部分对协作学习的评价只关注学习结果，而忽视交互过程在协作学习中发挥的作用。形成性评价注重评价协作学习交互过程中的要素，通过内容分析，可以对学习者的认知、社交、动机进行全方位评价，因此其在协作学习评价领域得到越来越多的应用。目前相关协作学习过程的评价存在难以实现评价自动化、评价指标定义宽泛、评价指标繁杂、评价指标信效度低等问题。针对这些问题，本文着眼于协作学习的交互过程，在形成性评价的基础上运用基于信息流的协作学习评价方法对在线协作学习开展评价。基于信息流的协作学习评价方法通过定义清晰的评价指标对特定领域知识实现半自动评价，通过计算小组知识激活总量来反映小组协同知识建构水平，进而评价协作学习的交互效果。基于信息流的协作学习评价方法适用于面对面的协作学习情境[5]，由于面对面与在线两种协作学习情境下信息流输出具有差异性，所以本文需进一步论证这种方法在在线协作学习情境中的有效性。

一文献综述

1 常见的协作学习评价方法

常用的协作学习评价方法可应用于不同的评价时机，具体如表1所示。其中，在协作学习过程中评价可以为学习者提供有效反馈，激发和维持他们协作学习的动机，提高学习效果[6]。但这个过程需借助有力的工具支持，提取、分析相应的过程数据，然后可视化反馈结果，使指导者轻松、及时地了解学习者的学习状态，然后决定是否对协作学习进行干预；同时，借助反馈信息也可以提高学习者的觉知、反思和意义建构，从而帮助他们达到既定的学习目标[7][8]。在协作学习过程中及时开展评价是协作学习评价的发展趋势，然而其对工具的开发有较高的要求，因此现阶段的研究主要针对协作学习的过程数据获取适当的评价指标。

表1 不同协作学习评价方法应用时机

2 形成性评价指标研究

形成性评价需借助协作学习的过程性数据，那么协作学习过程中要评价什么？协作学习过程中有哪些指标适合用来评价协作学习？这是形成性评价应用于协作学习中必然要考虑的问题。

我们从评价指标、指标类型、指标计算方法对不同研究者的研究进行分析，发现研究者评价指标的确定主要集中在认知结果的评价、社会交互的评价、参与动机的评价等方面，从而细化出特定维度或指标来衡量和考察协作学习过程。研究者提出的评价指标具有一定的个性，适用于特定情境，这使得评价方法的可移植性较差；同时，研究者定义的评价指标含义宽泛，新情境中的应用需重新对指标定义；再者，研究者缺乏对指标的信度效度检验，或者实证检验指标信度效度不高；最后，大部分研究提出的是评价模型，对指标的计算未能实现自动化，指标的量化也是依靠经验，因此评价指标缺乏客观性。针对以上问题，本文从群体知识建构的角度出发，通过信息流的分析方法，对在线协作学习的过程数据进行分析，确定评价指标，对协作学习效果展开评价，同时为了评价是否具有应用价值，我们对评价指标的信度进行实证检验。

二研究设计

1 研究问题

在在线协作学习情境下，从信息流的分析视角如何评价在线协作学习的交互效果？

2 研究假设

本研究假设以下三个指标可以有效评价在线协作学习的交互效果：

（1）总激活量

总激活量是一种反映协作学习中知识点社会性建构水平的抽象属性。某个知识点被激活的次数越多，它的学习效果就越好。目标知识点的总激活量计算方法如公式1所示。

（2）聚焦程度

聚焦就是随着时间持续激活某个知识点而产生的激活量越来越高的过程。交互过程中会呈现全局聚焦点和局部聚焦点。局部聚焦程度用激活量的平均增量和持续时间的乘积衡量，计算方法如公式2所示。

在公式2中，当Ci>1时，该知识点才为该时段的局部聚焦点；如果Ci<1，则该知识点并不是局部聚焦点。而全局聚焦程度的计算方法如公式3所示。

（3）深度

深度反映学习者与新旧知识发生联系进而对知识进行细化的程度，可以用带权路径长度反应协作学习的深度。激活生成树的带权路径长度定义为树中所有目标知识点的权（Wi）与深度（Li）的乘积之和。深度的计算方式如公式4所示。

3 研究方法

本研究采用实证研究的范式进行，通过设计实验任务，招募被试对象开展在线协作学习，然后收集协作学习过程数据，进行数据分析。任务设计以“教育心理学”课程中的问题解决和自我调节学习的相关知识为目标。招募被试的对象是研究者所在大学的研究生和本科生，要求学习过“教育心理学”课程。实验4人一组，在实验中每人一台电脑，借MSN讨论组在线开展协作学习，所有的被试均在实验室环境下进行协作学习，彼此所处空间不同，不能进行面对面交流。在被试对象进行协作学习过程中，软件会自动保存聊天记录。实验进行前后测检验，前后测试卷在专家评分后进行统计，其目的是用传统的方法评价获取协作学习的交互效果。本研究共招募被试158人，分成40组，每组3~4人。最终收集32组以问题解决设计任务的数据和8组以自我调节学习设计任务数据，因此，本研究的样本数据是40组协作学习记录和40组前后测成绩。本研究的研究样本是信息流所映射的带激活量的知识网络图。

4 数据分析方法

基于信息流的交互分析方法，对收集的聊天记录进行内容分析的具体步骤如下：

（1）绘制目标知识初始图，如图1所示。目标知识初始图的绘制要依据协作学习的内容，参考教科书，按照绘制规范进行绘制。同时，在信息流切分的时候，因协作学习超出既定知识范围的内容要随时调整目标知识初始图。

图1 某一组的目标知识网络图

（2）进行信息流的切分，如图2所示。信息项的表征格式采用IPLi<操作><表征形态><信息类型><知识网络子图>。切分信息流的规则一般为：信息贡献者发生改变时进行切分，<操作>属性发生改变时进行切分，<信息类型>属性发生变化时进行切分，<知识网络子图>属性发生变化时进行切分。

图2 某一组的信息流切分图

（3）形成带有激活量的知识网络图，计算总激活量、聚焦程度、深度三个指标值，如图3所示。指标值可以通过基于信息流的协作学习分析系统半自动计算出来。

图3 某一组形成的带有激活量的知识网络图

我们的分析过程由两位分析者独立完成，并对各自的信息项进行了信度校验，一致性均达到90%以上，表明结果可信。其中不一致的信息项由两位分析者面对面地经过讨论协商解决。

为了完成对指标有效性的检验，我们在实验过程中通过前后测，获取学习者在线协作学习对协作学习任务认知前后水平的差别（即运用传统的评价协作学习效果的方法）。专家评分后，计算小组前后测分数差总和的平均值M。然后，把计算的总激活量、聚焦程度、深度的指标值依次与传统的协作学习效果评价值M做相关性检验，借助SPSS软件，如果得到的检验结果P值小于0.05则表明指标有效。

三研究结果

总激活量、聚焦程度、深度三个指标反映协作学习的交互效果，其效度结果如下：

1 总激活量效度

表2 总激活量与前后测成绩差平均值相关性分析

由表2可知，总激活量与前后测成绩差平均值的相关系数r=0.43，p=0.005<0.01，所以指标总激活量在在线协作学习交互方式下有效。

2 聚焦程度效度

表3 聚焦程度与前后测成绩差平均值相关性分析

由表3可知，聚焦程度与前后测成绩差平均值的相关系数r=0.37，p=0.02<0.05，所以指标聚焦程度在在线协作学习交互方式下有效。

3 深度的效度

表4 深度与前后测成绩差平均值相关性分析

由表4可知，深度与前后测成绩差平均值的相关系数r=0.36，p=0.024<0.05，所以指标深度在在线协作学习交互方式下有效。

通过简单线性回归分析发现，总激活量能够解释协作学习交互效果19%的变异（β=.432，t=2.955，p=0.005），聚焦程度能够解释协作学习交互效果的13%（β=.365，t=2.419，p=0.020），深度能够解释协作学习交互效果的13%（β=.356，t=2.351，p=0.024）。综上所述，指标总激活量、聚焦程度、深度三个指标在在线协作学习交互方式下均有效，且总激活量指标的有效性最高。

四结论

通过对基于信息流的协作学习评价方法的实证研究，以及对在线协作学习过程数据的分析，可以发现三个反映协作学习交互效果的指标均有效，说明基于信息流的协作学习方法可以有效反映协作学习中小组的知识建构水平，且指标定义清晰，借助工具实现半自动评价，故可以广泛适用于特定知识领域的评价。但从目前研究的结果来看，三个指标对协作学习交互效果的解释力较低。因此，未来的研究应致力于进一步完善基于信息流的协作学习评价方法，以发现对协作学习交互效果预测力更高的指标，并实现自动评价。

[1]刘黄玲子,朱伶俐,陈义勤,等.基于交互分析的协同知识建构的研究[J].开放教育研究,2005,(2):31-37.

[2]刘黄玲子,黄荣怀.协作学习评价方法[J].现代教育技术,2002,(1):24-29.

[3]MacdonaldJ.Assessingonlinecollaborativelearning:processandproduct[J].Computers&Education,2003,(4):377-391.

[4]Strijbos J W.Assessment of(computer-supported)collaborative learning[J].IEEE Transactions on Learning Technologies,2011,(1):59-73.

[5]郑兰琴,杨开城,黄荣怀.基于信息流的面对面协作学习交互分析方法的实证研究[J].中国电化教育,2013,(11):30-35.

[6]韩后,王冬青.促进有效学习的评价反馈系统及其应用[J].现代教育技术,2015,(2):100-106.

[7]Maldonado R M,Kay J,Yacef K,et al.An interactive teacher’s dashboard for monitoring groups in a multi-tabletop learning environment[C].Berlin:Springer-Verlag,2012:482-492.

[8]Verbert K,Govaerts S,Duval E,et al.Learning dashboards:An overview and future research opportunities[J]. Personal and Ubiquitous Computing,2014,18(6):1499-1514.

编辑：小西

Empirical on the Assessment of Group Performance in Online Collaborative Learning——Based on the Information Flow Approach

YU Jun-hui ZHENG Lan-qin[CorrespondingAuthor]

(School of Educational Technology,Faculty of Education,Beijing Normal University,Beijing,China 100875)

The assessment of collaborative learning is very important in the domain of computer supported collaborative learning(CSCL).In this paper,the performance of collaborative learning was defined to the mutual degree of collaborative knowledge building,which was assessed through collaborative learning assessment approach based on the information flow.In order to evaluate group performance,the total amount of knowledge activation,the degree of knowledge convergence,and the depth were proposed in this study.The result indicated that the three indicators and the assessment approach were effective and appropriate in evaluating online collaborative learning.

collaborative learning;assessment;information flows

2015年5月29日

G40-057

A【论文编号】1009—8097（2015）12—0090—06

10.3969/j.issn.1009-8097.2015.12.014

book=95,ebook=96

本文受国家社会科学基金教育学青年课题“基于大数据学习分析技术的大学生适应性调节技能的评价与干预研究”（项目编号：CCA140154）资助。

于俊辉，北京师范大学教育学部教育技术学院硕士研究生，研究方向是计算机支持的协作学习，邮箱yujunhuibnu@163.com。