促进学习的评价：在线开放课程中同伴互评投入度研究

李红霞 赵呈领 疏凤芳 黄琰 上超望

[摘   要] 后疫情时代，提质增效是在线开放课程内涵式发展的重要抓手。重申促进学习的评价，强调学习者的深度参与，探究学习者参与同伴互评的特点及现存问题具有重要的现实意义。文章基于国内一门在线开放课程，采用学习分析技术从结构化与非结构化数据入手，分析在线开放课程同伴互评过程中学习者的投入度，并进一步探究同伴互评投入度与学习绩效的关系。研究结果表明，在线开放课程中学习者同伴互评的行为投入及认知投入不高，但是参与同伴互评能够识别更有动力通过课程的学习者，且其认知投入度能够预测其学习绩效。基于FBM（学习行为模型）模型提出促进同伴互评投入度的两阶段干预策略，从而提高学习者参与同伴互评的投入度，并为教师及平台提供更具针对性的策略建议。

[关键词] 在线开放课程; 同伴互评; 认知投入; 行为投入

一、问题的提出

学习评价是在线学习质量提升的关键和核心[1]，不评估学生是否已经学习，也不给学生反馈，等于单向的信息转储或广播，而不是教育[2]。然而，在线开放课程在实践中，其学习评价存在诸多亟待解决的问题。在线开放课程由于其开放、免费、大规模的特性，造成学习者背景纷繁复杂，规模较大，教师学习评价工作负担较重[3]。于是，在逐渐流行的众包理念的影响下，同伴互评成为在线开放课程平台普遍采用的评价方式[4-5]。在深化教育教学改革的新形势下，着力发展学生的核心素养、发挥学习评价的导向作用，研究者更加强调促进学习的评价（Assessment for Learning），强调学生的主动参与，目的在于促进学生学习的成功[6]。布莱克和威廉姆指出，同伴互评作为促进学习的评价时，其主要问题不仅是关注学生评价的可靠性和可信度，更关切促进学生有效学习的发生[7]。同伴互评过程中学习者的高投入度是其进行有意义学习的基础，因此，探究在线开放课程中同伴互评的投入度有着非常重大的意义。然而，现阶段，大部分学者都关注同伴互评的可行性与可靠性[7-8]，尚未有研究基于促进学习评价的新取向对我国在线开放课程环境中学习者参与同伴互评的特点进行深入分析。尽管在传统课堂及SPOC等小型课程环境中，多项研究证实同伴互评作为促进学习的评价的有效性[9-11]，但是在线开放课程环境与传统课堂及小规模的SPOC存在本质不同[12-14]。综上可知，在线开放课程环境下，同伴互评投入度的现存问题及其与学习绩效的关系是值得我们研究的。因此，本研究以中国大学MOOC平台中的一门课程为例，探究在线开放课程中同伴互评投入度的特点及存在的问题，厘清同伴互评投入度与学习绩效的关系，力求为在线开放课程学习评价及教学质量的提升提供策略建议。

二、研究方法与过程

（一）研究背景

1. 课程的基本情况

本文的数据来源于中国大学MOOC平台中的X课程。课程持续时间为8周。该课程报名的学员中有中小学教师、大学生、中学生，还有大量的数学爱好者、软件爱好者。选课人数共有4639人。在已知性别中，男生672人，占35%;女生1222人，占65%。已知年龄的人数有979人，平均年龄约32岁。在所有参与者中，748人有分数，占总人数的16.53%。其中，170人成绩合格，合格率为3.66%;113人成绩优秀，优秀率为2.45%。参与测试的人数有619人，参与论坛的人数有421人，参与作业提交的人数有360人，参与期末考试的人数有311人。

2. 同伴互评情况

整期课程共包括5次同伴互评。在课程的每一讲结束之后，要求学习者依据教学内容制作相关的课件，在规定的时间内提交到平台，然后按照规定时间进行同伴互评。在同伴互评之前，教师提供具体的评分标准。互评作业的开始时间和截止日期会告知学习者。系统随机匹配评价者与作业，每位学习者至少评价5份作业。学习者在评价时既提供评价分数，也提供反馈文本。同伴互评作业占总分数的50%。学习者提交作业后不参与互评将直接影响作业成绩。

（二）操作性定义

学习投入被用来衡量学习者为达到学习目标而在学习过程中持续努力的程度。中国大学MOOC平台记录学习者在同伴互评过程中留下的多种学习痕迹。通过收集这些日志数据并进行数据过滤与筛选，行为投入最终选定了参与同伴互评次数、同伴互评份数、均评等3个行为参与指标。参与同伴互评次数是指学习者在整个课程学习期间参与同伴互评的次数;同伴互评份数是指学习者在参与活动时所有评价作业的频数;均评是指学习者平均每次参与同伴互评时评价作业的频数，等于互评份数除以参与次数。认知投入是一种内隐性及过程性的心理努力程度。学习者在反馈文本的撰写过程中，涉及高阶的认知技能，如审查、总结、澄清、诊断错误的知识以及自我反思等。不同类型反馈文本需要学习者付出不同的认知努力。Nelson和Schunn将反馈分为认知性反馈和情感性反馈，并认为学习者撰写认知性反馈比情感性反馈要付出更多的认知努力[15]。Usher 和 Barak基于先前文献及归纳总结法把反馈内容分为四种类型，依据学习者在提供反馈时认知努力程度从低到高依次为情感型（包括正向反馈和负向反馈）、陈述型、核实型、加工型（包括提供信息和提出建议两类）[16]。Tseng和 Tsai在研究中将反馈文本分为情感型反馈、认知型评论和元认知评论[17]。本研究综合多项研究，评论被编码为情感、认知和无关三种类型，见表1。反馈文本的质量是其认知投入导致的结果，认知投入度借助反馈文本的质量可视化呈现。因此，本研究通过对反馈文本的质量进行分析，从而测量学习者的同伴互评认知投入度。情感性反馈提供简短而普遍的赞美或批评，与学习内容无关，表明学习者在认知方面付出的努力较少，即认定学习者认知投入水平较低;认知性评语中的直接修正和个人观点需要学习者具备分析能力和中等认知能力，因此，认定为中等认知投入;指导建议及能力评估需要学习者运用分析、评价、创造等高认知活动，因此，被認定为高水平的认知投入。无关类型的反馈未涉及任何学习内容，因此，被认定为无认知投入。

（三）研究方法及数据分析

本研究通过后台日志共收集13张表。首先，采用R语言对前期数据进行清洗（即处理原始数据中的噪声数据、无关数据、缺失值、脏数据、孤立点等），使用唯一的ID号识别学习者，连接多张表，通过对7144条数据进行分析，共提取了364位学习者所有行为投入的测量指标。其次，为了测量学习者的认知投入度，采用内容分析法，基于表1的编码框架对研究所收集的反馈文本进行编码。为了保证内容分析的信度，研究者邀请两位熟悉编码框架的研究生对反馈内容进行编码。内容分析以一条评语为分析单位，每条评语根据其主要含义，被归为一个类别。具体过程如下：（1）编码前培训，编码人员充分理解编码规则以及具体的示例;（2）预编码，从讨论帖中随机挑选200条反馈文本，两位编码人员分别进行编码，编码完成后对两位编码者的一致性系数（Cohen Kappa 值）进行计算，一致性系数为0.79，说明内容分析结果是可信的;（3）正式编码，两位编码者分别对剩余的反馈文本进行编码。最后，采用定量分析的方法，使用SPSS及Origin软件进行描述性统计分析，计算学习者的行为投入及认知投入水平，通过Mann-Whitney U检验及层次多元回归分析探究学习者同伴互评投入度与学习绩效的关系，多维度、多层次验证在线开放课程环境下同伴互评作为促进学习的评价的有效性。

三、研究结果与讨论

（一）在线开放课程同伴互评投入度分析

1. 行为投入

参与次数。每次参与作业互评的人数如图1所示。可知第一次参与互评人数略高于后面的互评人数，但是总体趋于稳定。参与互评的人数仅占注册课程人数的3.08%～4.07%。共242人参与同伴互评。其中，仅参与1次作业互评的人数为51人，参与2次的人数为35人，参与3次的人数为27人，参与4次的人数为46人，参与5次的人数为83人。

学习者的互评份数散点图如图2所示。可知散点集中在频率40以下。由表2可知，学习者互评份数的平均值为25.13，均评为7.41，平台要求学习者每次参与互评至少评价5份作业，因此，可知大部分学习者完成了学习任务。由图2中可知，三位学习者总评份数达到150份，平均每次评价作业频数达到30份。通过对三位学习者打分及反馈文本进行分析，三位学习者所给出的分数均为“10分”，且评语字数较短，均为“很好”“好”等积极情感性评语，未针对学习者的作品给出评价，未涉及任何认知性的参与。由此可知，学习者评价的份数越多，并不意味着学习者就认真参与了互评，还有学习者在做“欺骗系统”的事情。所以，课程平台在系统设计时，不仅应该设置参与互评份数的最低阈值，同时也应该设置最高阈值，降低学习者随意评价的概率，也有助于产生有价值的反馈评语。

2. 认知投入

该课程中共收集反馈文本7704条，剔除887条未给出任何信息的反馈文本、709条自我评价反馈文本，本研究只对6108条反馈文本进行分析。

从课程层面出发（见表3），学习者在整个课程中给出的情感性反馈文本共3171条，占总数的51.91%;认知类反馈文本总数达2273条，占总数的37.21%;无关类的反馈文本有664条，占总数的10.87%。在情感类反馈文本中，支持类反馈文本较多，通过仔细分析此类反馈文本，发现学习者往往直接反馈作品的总体情况，如“好”“优秀”“点赞”等。在认知类评价中，直接指出作品的正误和评估作品所反映出学习者能力的两类反馈文本所占比例较大，分别为14.67%和10.64%。学习者表达个人观点（6.97%）和提出建议的反馈文本（4.93%）所占比例较少。

为了更进一步了解在线开放课程中学习者参与同伴互评的情况，本研究将其与SPOC环境中同伴互评的参与情况进行对比分析。其中，研究1与研究2与本研究采用的内容编码框架一致。研究2与研究1相似，均为SPOC情境。

由表3可知，在线开放课程情境中学习者更喜欢给出情感类的评价，而传统课堂情境中学习者提供的多为认知类的评价。不管在哪种情境中，学习者都不喜欢给出消极的评价，更喜欢用积极性的语言来评价同伴的作品。在认知类评语中，传统课堂中学习者倾向于给出指导建议类评语（不仅指出作品的优劣势，还给出修改建议）。然而，在线开放课程情境中学习者倾向于给出直接修正性的评语，即直接指出作品的正误，但是并未给出修改建议。因此，可知在线开放课程中同伴互评认知投入度不高。虽然学习者积极完成评价任务，但是学习者并未深度参与到评价中。

为了探究学习者的认知参与度是否与作业内容相关，由于每次作业收集的反馈文本数量不同，所以并未直接对反馈文本类型的频数进行比较，而是比较不同类型反馈文本所占的百分比。从图3可知（横坐标表示不同类型的反馈文本），不同作业中，学习者提供的反馈文本类型分布相似，表明在线开放课程情境中，学习者的认知投入度并没有在不同作业中表现出差异，即学习者的认知投入度没有受到作业内容的影响。

为了探究学习者的认知投入度随时间是如何演化的，本文借助上述计算方法获取学习者每次互评提供的不同反馈文本类型百分比，观察其在5周内的认知投入度演化的均值趋势。如图4所示，横坐标表示反馈文本类型，纵坐标表示百分比。随着课程的进行，学习者提供的情感性反馈逐步增加，从50.47%到63.77%;无关反馈也逐步增加，从12.43%到18.19%。反之，学习者提供的认知反馈逐步降低。

（二）同伴互评投入度与学习绩效的关系探究

1. 参与者与未参与者学习绩效的差异性分析

为了分析参与同伴互评与未参与同伴互评的学习者之间的学习绩效差异，本研究比较了参与同伴互评（提供反馈）的243名学习者与未参与互评（未提供反馈，但是收到反馈）的121位学习者的平时测验和期末成绩（知识掌握程度）、论坛成绩（社交参与情况）、作业成绩（知识应用能力）之间是否存在差异，由图5、图6、图7、图8可知，因变量不符合正态分布。因此，本研究采用单样本wilcoxon符号秩和检验，使用Mann-Whitney U檢验判断参与同伴互评与未参与同伴互评的学习者在学习绩效上是否存在差异。

Mann-Whitney U检验结果显示，参与同伴互评与未参与同伴互评的学习者在测验成绩（M0=130.57，M1=208.36;U=8417.50，Z=-6.649，p=0.00）、论坛参与度（M0=114.70，M1=216.26;U=6498.00，Z=-9.067，p=0.00）、作业成绩（M0=92.10，M1=227.51;U=3763.00，Z=-11.587，p=0.00）、期末成绩（M0=124.75，M1=211.26;U=3763.00，Z=-7.508，p=0.00）上均存在显著不同。平均而言，参与同伴互评的学习者测验成绩更高，论坛活跃度更高，期末考试成绩更高，作业质量更好，课程的完成度更高，课程通过率更高。

2. 学习者同伴互评投入度与学习绩效的关系探究

为了探究同伴互评投入度与学习绩效的关系，采用层次多元回归分析方法。在第一层，两个控制变量，即参与次数和评价份数，被输入回归方程。在第二层中输入学习者提供及收到情感类型反馈的比例（PGE、PRE）、学习者提供及收到认知类型反馈的比例（PGC、PRC）、学习者提供及收到无关类型反馈的比例（PGO、PRO）。各阶层内采取逐步输入法，结果见表4。发现两个阶层能够有效预测因变量学习绩效51.2%的变异量（F=41.957，p=0.00），已调整后的R2表示仍有46.6%的解释力，表明这些变量对因变量的预测力较高。其中，学习者收到的无关反馈能够显著预测其最终成绩（Beta=-0.653，t=-8.233，p=0.00），即学习者收到的无关反馈越多，其成绩越低。其次，学习者提供的认知反馈能够显著预测学习者的最终成绩（Beta=0.202，t=2.547，p=0.013），即倾向于提供认知类反馈的学习者，其学习绩效越高。最后，学习者提供的情感类反馈对学习绩效没有预测作用;学习者收到的情感类型及认知类型的反馈对作业绩效也没有预测作用。

四、研究结论

（一）参与同伴互评的人数不多，但参与者行为表现积极

研究结果显示，在线开放课程中参与同伴互评的人数约占实际参与课程总人数的三分之一，这与Formanek M的研究结果[13]相近。第一次参与互评人数略高于后面的互评人数，但是整个课程中每次参与互评的人数总体趋于稳定，Formanek M的研究同样显示了類似的结果。这表明，本研究结果基本反映了在线开放课程环境下学习者同伴互评行为投入度不高的事实。但值得注意的是，当学习者在突破零参与之后，开始参与同伴互评，其行为投入较为积极，大部分学习者完成了基本学习任务，达到了浅层参与（完成规定的评价任务，撰写了最简单的评语）。因此，如何促进学习者从零参与到第一次参与，需要教学者通过教学策略等促进学习者参与一次同伴互评，这是同伴互评促进学习发生的关键所在。

（二）同伴互评认知投入度不高，且与SPOC情境存在差异

学习者在同伴互评过程中提供的反馈多为积极情感性评价，认知性反馈提供较少。这表明，学习者的认知投入深度还不够。认知性评价需要学习者认知投入较高，是学习者在情感类评价的基础上进行深度的批判性反思和认知了解，最终直接指出作品正误、表达评价者的个人观点、给出作品如何修改的意见或建议。认知类评价的产生需要学习者在掌握基础知识及技能的基础上，通过将同伴作品所体现的知识技能与自己认知领域的知识技能进行比较分析，构建自己的认知价值体系，进而形成自我思想沉淀及认知特点，这对学习者的认知提出了很高要求。

与在线开放课程情境中的同伴互评认知投入度相比，SPOC情境中学习者提供了更高比例的认知类型反馈，且认知类型反馈中不仅指出了学习者作品的正误，还给出了解释。一方面的原因可能在于在线开放课程中学习者自由度较高、背景迥异、高度的匿名性、教师监管力度不大、学习者感知的约束规范较少、较高的心理安全等造成学习者的态度不端正;另一方面的原因可能是学习者的感知同伴意识不强，互惠意识欠缺。因此，学习者给出的反馈常常是简短的情感类反馈，认知性反馈也仅仅直接指出作品的正误。

（三）随着课程学习的深入，认知类反馈逐渐减少，情感类及无关类型增加

随着课程的进行，学习者可能产生疲倦期，新鲜感降低，因此，认知投入度降低，采用最简单的反馈来完成任务。无关类型的反馈增加，本研究中其他类型反馈指的是“作业未给出附件，无法评分”等。因此，无关反馈的增加也意味着学习者提交了较多“虚假作业”，并未实际完成作业。一方面可能是由于疲倦，另一方面可能是学习者在评价“虚假作业”时使他们对同伴互评产生负面看法，并影响学习者的学习表现。学习者在评价未提交作业的作品时，效仿减少认知付出及时间精力付出，尝试提交虚假作业来获取成绩。

（四）参与同伴互评能够识别出好的学习者

研究结果表明，平均而言，参与同伴互评的学习者测验成绩更高，论坛活跃度更高，期末考试成绩更高，作业质量更好，课程的完成度更高，课程通过率更高。这与Comer等的的研究[19]相一致。先前研究表明，尽管同伴评分过程的可靠性和有效性有限，但它仍然能够平均识别出好的学习者。M. Formanek等的研究表明，观看了第一个视频的研究者中仅14%通过课程考核，参加调查的学习者中仅33%通过课程考核，完成第一个测验的学习者中仅有36%通过课程考核，但是参与同伴互评的学习者中89%通过课程考核，本研究中参与同伴互评的学习者67.9%通过了课程考核[13]。由此可知，参与同伴互评能够识别出好的学习者。

（五）学习者的认知投入度能够预测其学习绩效

学习者在同伴互评过程中其投入度不同，学习绩效也不同。第一，学习者收到的无关反馈越多，其成绩越低。这一方面表明学习者收到的无关反馈可以预测其作业分数，Meek等的研究也证实了这一结果[10]。另一方面也表明，学习者互评的效度较为可靠，并不会给予感情分。对于质量较差的作业，学习者能够及时识别并给出合理分数。第二，学习者提供的认知反馈显著预测学习者的最终成绩，即倾向于提供认知类反馈的学习者，其学习绩效越高。这一方面是学习者提供认知类的反馈促进其知识建构与反思，在多次迭代的作业—提供反馈中学习者提升自身的知识掌握程度，从而提高绩效，学习者互评在认知目标分类中属于较高层次的认知活动，能够有效促进在线情境中有意义学习的发生;另一方面的原因可能在于成绩高的学习者倾向于提供认知类反馈，因为认知性评价是学习者评价中较高的一类。第三，学习者提供的情感类反馈对学习者的学习绩效并没有预测作用，先前的研究表明情感反馈的建设性作用，无论是积极的还是消极的，都是有限的，因为它们不涉及正在审查的工作的认知内容。最后，学习者收到的情感类型反馈及认知类型反馈对其作业绩效也并没有预测作用，造成这一结果的原因可能在于本研究中学习者的同伴互评并未涉及学习者基于同伴反馈意见的迭代修正，因此，同伴的反馈对于被评价者的影响不显著。这一结果表明，在线开放课程情境中，当作业需要多次迭代修正时，采用同伴互评更能发挥其效用。

五、研究启示

在线开放课程中学习者同伴互评投入度是其深度学习的基础。因此，为教学实践者在在线开放课程中有效地组织开展同伴互评、提高学习者的投入度提供切实可行的策略与建议，是保障学习质量和学习效果的重要措施。根据实践数据分析结果及相应结论，基于Fogg教授提出的FBM（学习行为发生模型）模型[20]提出促进同伴互评投入度的两阶段干预策略。

第一阶段：触发的无效区（未参与的学习者）进行动机的干预。在线开放课程中学习者参与同伴互评的人数不多。部分学习者提交作业，但是并未参与互评，造成作业与评价人数不平衡，课程中有部分作业未获得任何反馈，对学习者的学习体验存在较大的负面影响，这从侧面印证了学习者参与同伴互评的重要性。因此，如何切实有效地提高参与互评人数，是研究者及平台实践管理者亟须解决的问题。FBM行为模型表明学习同伴互评行为曲线的下方，由于学习者的动机和认知能力较低，是触发的无效区，这时无论多么完美的任务驱动和环境设计都起不到理想的预期作用，干预的设计应该着重于提高学习者的动机和认知能力。因此，第一阶段应针对触发的无效期（即零参与的学习者）进行动机的干预。在同伴互评开始之前，教师应激励学习者参与同伴互评，如通过描述同伴互评的学习价值，激发学习者的内部动机。设置一定的奖惩措施，如同伴互评表现与学习者成绩挂钩，从而诱发学习者的外部动机。

第二阶段：触发的有效区（参与同伴互评者）进行任务和环境的干预。在线开放课程中，学习者同伴互评认知投入度不高，且随着课程学习的深入，学习者的认知投入度逐渐降低。引导学生在平台中高效参与，获得更高的在线学习效果，是教师要着重考虑的问题。根据FBM行为模型的理论指导，此时干预的设计应该着重于改善任务和环境的设计。首先，参与同伴互评能够更及时地识别出有动力完成课程的学习者。在线学习环境下，保留学习痕迹及让过程性分析变得可行，为教师掌握学习过程提供了有力支撑。因此，基于学习分析技术，对于完成第一次同伴互评的学习者给予相应的支持服务，助力其高效完成课程学习。其次，改善同伴互评任务设计，增加教師的及时反馈。为了提供评语质量，教师可以在互评之前不仅提供评价的量规，还应该采取特定的形式对学习者如何撰写评语进行一定的培训（如提供案例告知学习者什么类型的评语是有效的等），同时系统平台应进行及时的监测（如限制评语的最低字数，对于提供认知类评语的学习者进行奖励，对于提供单纯情感类评语的学习者进行警示，对于收到无关类型评语的学习者进行及时的督查，提醒其认真完成作业或者按格式提交作品等）;增加被评价者对评语的反馈，提供有价值评语的学习者可以得到奖励等，从多方面促进学习者深度参与同伴互评。最后，基于群体感知技术，设计开发基于群体感知的在线同伴互评系统，内嵌于在线开放课程平台中，对用户实施可视化反馈，弥补了在线同伴互评系统可视化反馈的缺陷[21]。一方面便于教师了解学习者的现状，另一方面增强学习者在同伴互评中的感知能力，并促进学习者的协作学习交互，提高学习者的社会存在感，进而规范约束学习者的行为。

由于本研究后台日志数据的部分缺失，所以本研究未涉及时间变量及学习者在课程学习中的其他行为数据。另外，同伴互评作为评价方式，我们关注其评价的信效度，这在先前的研究中得到检验;同伴互评作为学习方式，能够提高学习者的知识理解水平并促进学习参与，本研究也证实了其有效性。但是，同伴互评作为一种特殊的生生及师生互动方式，在在线开放课程这个特殊的情境中（学习者社会存在感较弱，教师反馈不及时，学习者孤独）[22]，同伴互评是否能够为学习者提供情感性支持，增强其社会存在感，后续值得深入研究与探讨。

[参考文献]

[1] BENSON A D. Assessing participant learning in online environment[J]. New directions for adult & continuing L，education， 2003，（100）：69-78.

[2] SUEN H K. Peer assessment for Massive Open Online Courses（MOOCs）[J]. International review of research in open & distance learning，2014，15（3）：312-327.

[3] 杨九民，李丽，刘晓莉，朱芳芳，高姝睿，皮忠玲.在线开放课程中的交互设计及其应用现状分析[J].电化教育研究，2018，39（11）：61-68.

[4] 郑燕林，李卢一.超越大规模，追求大智慧：MOOC学习同伴评价的实施路径选择[J].电化教育研究，2015，36（9）：42-48.

[5] TOPPING K. Peer assessment between students in colleges and universities[J]. Review of educational research， 1998（3）：249-276.

[6] 莫景祺.重申“促进学习的评价”[J].基础教育课程，2019（21）：53-56.

[7] ADMIRAAL W， HUISMAN B， MAARTEN V D V. Self- and peer assessment in massive open online courses[J]. International journal of higher education， 2014， 3（3）：119-128.

[8] 范逸洲，冯菲，刘玉，等.评价量规设计对慕课同伴互评有效性的影响研究[J].电化教育研究，2018 （11）：45-51.

[9] MCANDREW， PATRICK， SCANLON， et al. Open learning at a distance： lessons for struggling MOOCs[J]. Science， 2013，340（20）： 1450-1451.

[10] MEEK S E M， BLAKEMORE L， MRKS L. Is peer review an appropriate form of assessment in a MOOC？ Student participation and performance in formative peer review[J]. Assessment and evaluation in higher education， 2017，42（6）：1-14.

[11] XIONG Y， SUEN H K. Assessment approaches in massive open online courses： possibilities，challenges and future directions[J]. International review of education，2018，64：241-263.

[12] LU J， LAW N. Online peer assessment： effects of cognitive and affective feedback[J]. Instructional science，2012，40（2）：257-275.

[13] FORMANEK M， WENGER M C， BUXNER S R， et al. Insights about large-scale online peer assessment from an analysis of an astronomy MOOC[J]. Computers & education， 2017， 113：243-262.

[14] BART， HUISMAN， WILFRIED， et al. Peer assessment in MOOCs： the relationship between peer reviewers' ability and authors' essay performance[J]. British journal of educational technology，2018，49（1）：101-110.

[15] NELSON M M， SCHUNN C D. The nature of feedback： how different types of peer feedback affect writing performance[J]. Instructional science，2009，37（4）：375-401.

[16] USHER M， BARAK M. Peer assessment in a project-based engineering course： comparing between on-campus and online learning environments[J]. Assessment & evaluation in higher education，2017：745-759.

[17] TSENG S C，TSAI C C. On-line peer assessment and the role of the peer feedback： a study of high school computer course[J]. Computers & education，2007，49（4）：1161-1174.

[18] 馬志强，王靖，许晓群，龙琴琴.网络同伴互评中反馈评语的类型与效果分析[J].电化教育研究，2016，37（1）：66-71.

[19] COMER， DENISE K， CLARK， CHARLOTTE R， CANELAS， DORIAN A. Writing to learn and learning to write across the disciplines： peer-to-peer writing in introductory-level MOOCs[J]. International review of research in open & distance learning， 2014， 15（5）：26.

[20] 殷宝媛，武法提.学习习惯在线干预的原理与模型设计[J].电化教育研究，2019，40（12）：72-79.

[21] 梁妙，郑兰琴.支持协作学习的觉知工具：研究现状总结与思考[J].远程教育杂志，2012，30（4）：30-39.

[22] 赵呈领，李红霞，蒋志辉，黄琰.消除在线学习者倦怠：教师情感支持的影响研究[J].中国电化教育，2018（2）：29-36.