美国高校图书馆参与机构学习分析研究与启示

2022-03-13 23:24邱茹林 李林华
新世纪图书馆 2022年2期
关键词:资源优化学习分析教学评估

邱茹林 李林华

摘 要 近年来,在图书馆价值评估活动的影响下,越来越多的美国高校图书馆开始参与到学习分析项目中来。《图书馆机构学习分析整合》是美国博物馆和图书馆服务研究所基于三次全国图书馆学习分析整合信息论坛讨论结果发布的报告,内容涉及图书馆机构学习分析整合形式,支持图书馆参与学习分析的策略方法,图书馆机构学习分析整合障碍及未来努力方向等。该报告对于指导图书馆员如何参与学习分析及应对学习分析带来的挑战具有重要的价值和意义。

关键词 学习分析;高校图书馆;教学评估;大数据;资源优化

分类号 G258.6

DOI 10.16810/j.cnki.1672-514X.2022.02.013

Abstract In recent years, under the influence of library value assessment, more and more American university libraries have participated in learning analysis programs. Library Integration in Institutional Learning Analytics is a report released by the Institute of Museum and Library Services based on results of three national information forums about libraries participating in learning analytics. The content of this report involves envisioning library engagement with learning analytics, obstacles to library integration in learning analytics and next steps, etc. This report is of great value and significance for instructing librarians to participate in learning analytics and to deal with the challenges bring by learning analytics.

Keywords Learning analytics. University library. Teaching evaluation. Big data. Resource optimization.

0 引言

图书馆参与学习分析实质上是在大数据环境下,利用现代数据分析技术对图书馆支持学生学习效果的评估[1]。通過参与学习分析[2],图书馆能够更加准确地获取和分析学生在图书馆的学习行为数据,并根据分析结果对图书馆支持学生学习进行优化和改进,这不仅能够在一定程度上帮助学生学习,而且在优化图书馆资源、改善图书馆服务、提高图书馆管理水平等方面也能起到积极的作用。因此,越来越多的图书馆开始参与到学习分析项目中来。2017年,美国博物馆和图书馆服务研究所(the Institute of Museum and Library Services,IMLS)资助雪城大学(Syracuse University)开展了图书馆机构学习分析整合项目研究(Library Integration in Institutional Learning Analytics, LIILA),并就图书馆在学习分析整合过程中展现的价值、图书馆员在参与学习分析过程中发挥的作用、图书馆学习分析整合的可行性条件及如何将图书馆整合到机构学习分析等问题举办了三次全国论坛,结果最终形成《图书馆机构学习分析整合》[3](以下称《白皮书》),并于2018年11月发布。

《白皮书》由图书馆学习分析领域著名专家梅根·奥克利(Megan Oakleaf)博士撰写,多所大学图书馆及学习分析领域专家审核并修改完成。报告内容主要源于ARL成员馆参与学习分析已有实践和经验,并结合与会专家成员现场讨论和问卷调查结果,对图书馆学习分析整合形式和方法,在整合过程中遇到的问题、解决办法及未来努力方向提供了具体而全面的指导。该报告对于帮助图书馆和图书馆员制定图书馆学习分析整合规划,开展图书馆学习分析整合实践及应对学习分析带来的挑战都具有显著的价值。

本文拟通过对此白皮书的分析和解读,把握美国高校图书馆参与机构学习分析的研究前沿和动态方向,以期为我国高校图书馆参与机构学习分析实践提供参考与借鉴。

1 图书馆机构学习分析整合形式

图书馆机构学习分析整合主要指图书馆数据与机构数据的整合,目前,图书馆学习分析整合的常见形式大致有两种。一种是吸收机构数据用于图书馆分析,该种形式主要是图书馆系统地把机构数据无缝纳入其控制系统,通过实时、纵向分析两者之间的关系,更好地理解图书馆对学生学习的支持,并把这种理解转化为对图书馆服务、资源和设施等方面的改进。明尼苏达大学图书馆就是这种形式的开创性应用者[4]。

另一种是将图书馆和图书馆员整合到学生早期预警和综合规划建议系统(Integrated Planning and Advising for Student Success,IPASS)中。IPASS能够通过记录、跟踪学生的学习进展,为学生的学习提供咨询和建议[5]。图书馆整合到IPASS,不仅能为有需要的学生提供资源自助,甚至还能为有学习风险的学生提供及时预警和干预。德保罗大学图书馆就是该种形式的早期采用者[6]。随着互联网和学习分析技术的发展,未来更有效的形式可能是将预先选择的与学生学习相关的图书馆数据发送到机构数据仓储,甚至是实时与机构数据共享图书馆和供应商数据。实时共享可以为学生及其学习环境构建一个统一描述的整体数据集,这不仅可以使图书馆支持学生学习的行为得到更全面的分析,还可以加快识别图书馆需要改进、定制或个性化的领域。

2 图书馆机构学习分析整合方法

上述形式代表了图书馆机构学习分析整合的状态,但由于各高校图书馆现有的可实施条件及学习分析发展水平不同,图书馆应该如何参与学习分析,如何有效地利用图书馆的资源、服务及设施支持学生的学习,仍是图书馆员需要面对的主要问题。为此,LIILA项目组提出了8种策略方法用以指导图书馆员参与学习分析。

(1)明确机构需要解决的问题和支持的利益相关者。图书馆担负着协助机构完成使命,帮助利益相关者实现目标的职责,因此参与学习分析可以明确机构需要解决的问题以支持利益相关者。首先,图书馆员可以考虑机构和利益相关者的目标、任务及需要解决的问题,并以此为出发点,探讨图书馆的服务、资源及设施对这些问题的影响及如何为解决或改善这些问题做出努力。其次,图书馆员还可以从机构和利益相关者的利益、需求和关注领域入手,通过在图书馆系统收集的互动数据与利益相关者利益相关的机构数据之间建立问题关联[7],探索图书馆可以满足机构和利益相关者需求的方法。

(2)阐明图书馆数据可以回答的问题。LIILA项目组调研了大量图书馆参与学习分析有助于回答的问题,这些问题主要集中在以下三个方面:图书馆对学生学习的影响和成功的支持、机构对图书馆贡献的看法、图书馆管理者关注的话题。从这些问题的侧重点可以看出,图书馆参与学习分析不仅能了解学生的学习情况,而且还能为学生提供个性化资源,并为有困难的学生提供帮助,支持学生的学习。从机构层面上来说,图书馆参与学习分析可以构建包括图书馆互动数据在内的学生学习的完整画面,为学生提供提高学习和成功概率的综合方法,并以此体现图书馆独特的价值和贡献。从图书馆管理者角度来看,图书馆参与学习分析不仅可以优化图书馆资源管理配置,还可以在转变图书馆传统管理模式和提升图书馆管理水平等方面发挥积极作用。

(3)想象未來的行动。在进一步了解学生与图书馆互动的基础上,为了帮助学生更多、更好、更快地学习,项目组制定了未来学习的提供手段与方法。这些方法包括图书馆可以利用学习分析数据,确定需要图书馆支持的课程和学习项目,识别学生学习有困难的课程领域,并直接利用资源最大化或改善图书馆对这些领域的支持;重视图书馆与学生互动信息,提高学生自我评估、自我导向及元认知决策能力,及时为学生提供学习预警、通知或干预;增加对图书馆服务、资源和设施的有效学习使用,改善图书馆发现和实现系统,使图书馆的支持更加及时、方便。

(4)考虑图书馆参与学习分析的促进因素。一方面,公众对高等教育价值和有效性的关注促使认证机构开始对高校教学质量进行评估;另一方面,高校之间的持续竞争和预算缩减使高校和图书馆面临着越来越大的压力[8]。在这些因素的共同推动下,高校和图书馆亟需找到一种能够有效提高教学质量的方法。此外,学习分析相关技术的发展、互操作性标准的开发、机构对数据存储的投资、利益相关者之间的会话及图书馆员自身的知识、能力和价值观等也进一步促进了图书馆参与到学习分析中来。

(5)设想图书馆员的角色。LIILA项目组认为图书馆员在学习分析活动中可以扮演重要的角色。首先,图书馆员可以主动参与机构各部门、各层级之间的学习分析交流,在必要的时候召集机构或跨机构的讨论,逐渐确立图书馆在学习分析中的地位和作用。其次,图书馆员可以参与学习分析政策和使用条例的制定,帮助建立学习分析实施规则和流程,并在数据安全和用户隐私等领域发挥作用。再次,图书馆员还可以积极参与学习分析实践,在为学习分析系统提供(或保留)必要的图书馆数据的基础上,利用自身的优势,为学生提供数据科学、策展、管理、分类和可视化等方面的专业分析。最后,图书馆员还可以与机构其他部门合作,根据学习分析结果为有需要的学生提供干预。

(6)想象有益的场景。LIILA项目组以学生与图书馆互动最常见的4种场景(参考咨询、教学指导、馆藏利用、设施使用)为对象,设计了图书馆参与学习分析能给图书馆员和学生带来的好处。 参考咨询方面,帮助图书馆员根据参考咨询的类型、内容与课程建立联系,为学生提供更适合的参考资源;学生可以通过学习分析了解成功的学习实践,并根据“最佳实践”衡量自己的学习行为,通过图书馆服务提高自己的学习。教学指导方面,学习分析可以帮助图书馆员查看学生参与图书馆课程(一次性指导、专题报告、嵌入式研讨会等)的学习成果,确定学生学习过程中的问题,建立详细的学习者需求评估,并在此基础上联合教师制订符合学生目标的个性化教学设计;学生可以获得更相关、更有针对性的教学指导与反馈,并从改进的教学方法、更符合学生目标的教学设计和教学体验中受益。馆藏利用和设施使用方面,学习分析可以揭示哪些馆藏资源和设施正在被访问和使用,帮助图书馆员探索如何在各种课程领域或项目中使用这些资源和设施,从而作出数据驱动的馆藏和设施决定。根据数据捕获的粒度,图书馆员还可以识别被访问或使用资源和设施的问题点,找出预期和实际使用之间的差距,并作出关于成本和使用的平衡决策;学生可以通过学习分析了解馆藏资源和设施使用的最佳实践,并据此衡量、改进自己的资源和设施使用情况。

(7)反思现有的数据。LIILA项目组确定了一系列有助于支持学生学习的图书馆和机构数据点。图书馆数据点可以从参考咨询、教学指导、馆藏利用、设施使用、图书馆网站使用等方面考虑。参考咨询数据点包括咨询台咨询、学生/教师咨询、同行研究咨询、聊天/ IM /文本/短信咨询、邮件咨询、其他系统转介图书馆咨询、档案和特殊收藏咨询等;教学指导数据点包括图书馆参与教学、研讨会登记/参与等;馆藏利用数据点包括实体流通(书籍、技术等)、续借、数据库使用和全文下载、电子书使用和全文下载、多媒体使用和下载、数字视频、机构库使用、发现/搜索系统使用等;设施使用数据点包括:空间使用 (安全门卡接入)、 学习共享空间使用、技术/设备使用、计算机使用、软件使用、打印机/复印机使用、房间使用(演讲、小组学习)等;图书馆网站使用数据点包括视频教程、学习指南等教学内容的使用和主题指导等。

机构数据一般可分为静态数据和动态数据两种,静态数据主要包括年龄、种族、性别、高中GPA、SAT成绩等;动态数据主要包括主修、选修、GPA、关系管理、WIFI数据、LMS数据、评估或作业成绩、剽窃检测、实时课程进度、课程成绩等。此外,图书馆员还可以考虑每个数据点的潜在效用及访问这些数据点的方法,并对可能会引起安全或道德问题的数据点做出是否应包含在学习分析内的决定。

(8) 创建情景用例。情景用例是从用户角度概念化图书馆参与机构学习分析情景的一种方法,其简洁地描述了用户是谁,需要完成什么,以及为什么这种结果是可取的。情景用例可模板化为以下形式:作为[用户],我想[目标],以便[理由]。情景用例中,图书馆为了帮助用户实现目标结果、解决问题或满足需求,大部分“理由”都是支持学生学习的计划和干预措施的部署,有些“理由”还进一步增加了改善教学环境和机构体制的方法。15名LIILA项目组成员在所调研的活动中,对活动产生的95个情景用例,按照对学生学习的潜在影响级别(1表示高影响,5表示低影响)加权平均后进行了分组和排序,并将排名最高的情景用例聚合在14个图书馆互动主题下。需要指出的是,情景用例也会受到诸如项目组成员观点等因素的影响和限制,因此,图书馆员应该扩大这项工作的参与范围,以确保听到不同利益相关者群体的声音。

3 图书馆机构学习分析整合障碍

虽然LIILA项目组为图书馆如何参与学习分析提供了多种思路和方法,但与其他新事物一样,图书馆学习分析整合也将面临诸多障碍。除了图书馆界对学习分析认识不够、积极性不高、机构对图书馆数据不重视等主观因素外,图书馆学习分析在整合过程中还将面临隐私、数据和组织文化障碍。

3.1 隐私障碍

图书馆学习分析隐私障碍主要涉及个人信息隐私和數据隐私两方面。学习分析在记录和分析学生利用图书馆数据时都会使用学生个人信息,如果在技术等方面处理不当,就可能会泄露学生的个人信息甚至侵犯学生的个人隐私。因此,在参与学习分析时,图书馆员不仅需要考虑个人信息的类型、保留时间、访问权限及数据底层系统的安全性,还要考虑个人信息收集、使用、保留的方法和政策是否以公开透明的方式与公众共享。

数据在收集、存储、使用和共享过程中都会涉及隐私与安全问题。如果缺乏适当的管理办法和保护措施,就可能会阻碍图书馆学习分析的健康发展。图书馆员可以从以下几方面进行学习和交流:在数据收集时,图书馆员需要了解整个机构或机构内各个单位维护的数据是什么,这些数据是否涉及保密或隐私问题;在数据存储过程中,图书馆员需要知道这些数据都存储在哪些系统中,涉及哪些安全和隐私政策;在数据使用时,图书馆员需要了解各个单位都有什么样的保护措施和管理结构,已经采取了哪些做法,以及这些做法能否有效地保护数据的隐私和安全;在数据共享时,图书馆员需要考虑与机构共享数据的类型、内容、利弊以及这些数据是否涉及保密或隐私问题,图书馆员甚至还需考虑与机构数据共享后,图书馆在控制数据可见性和使用方面拥有什么样的访问和控制权限,并权衡机构和图书馆哪个实体具有更强大的数据安全和保护措施。

隐私障碍还涉及学生选择机制。通常情况下,大多数机构都没有为学生建立选择机制,机构数据会被默认为“选择加入”以便参与学习分析,有的机构即使建立了选择机制,也会忽略学生的选择而对所有的数据进行分析。图书馆员需要更新他们对知情同意和学生选择加入或退出可能性的认识,在数据收集或改变时要取得学生的知情同意,尊重学生的选择权。

3.2 数据障碍

图书馆学习分析整合的另一个障碍来自于数据本身。数据是学习分析的核心内容,数据质量直接影响着学习分析的结果。数据质量有多个指标,在图书馆学习分析整合中都应被考虑。其中,完整性是最重要的指标之一,在学习分析环境中尤为重要。数据的完整性指的是 “信息不缺失的程度,并且对于当前的任务要有足够的广度和深度”。 [9]然而,目前学习分析系统所收集和使用的数据通常不包括图书馆,如果我们认为图书馆对于研究学生的学习行为有着重要的作用,那么,忽略了图书馆的学习分析数据本身就是不完整的。此外,学习分析系统也可能会出现数据质量问题。这是因为,大部分学习分析系统使用的模型和算法都是封闭的,机构无法获取、解析其运算过程,这可能会导致分析结果不准确或误导一部分学生。

数据粒度对学习分析结果也存在着一定的影响。与其他形式的教育评估一样,学习分析也倾向于使用大粒度指标(出勤率、参与率、保留率和毕业率等)来衡量学生的学习[10]。目前,学习分析主要利用这些指标来预测学生什么时候可能会遇到困难,并促使教学人员发起互动或干预[11]。但这些指标无法对学生的学习进行详细评估,也无法对学生的教育发展等情况进行深入研究,学习分析也因此经常受到公众的指责和批评。不过,图书馆员也应该认识到,大粒度指标只是评估学生的一种手段,并不是衡量学生学习的唯一标准,而且,随着学习分析技术的发展,未来,学习分析可能会获得更多更细级别的数据,以对学生的学习进行更详细的评估。

图书馆员面临的更大的数据障碍是数据获取。通常情况下,学习分析使用的数据都来自学生信息系统、学习管理系统、视频流和网络会议工具等教育技术系统[12]。这些系统有的由本单位研发,有的由外部采购,还有的由供应商独立运营。由于这些数据库产品和平台大都没有统一的建设标准或有效的信息接口,图书馆要想获取这些系统中的数据必然存在着一定的困难[13]。另外,供应商系统中的数据也很难获取。图书馆供应商维护着大量用户及其对资源的访问数据,这些数据对于深入了解图书馆资源与学生学习之间的关系有着重要的意义,但大多数图书馆都无法访问和获取这些数据。为此,LIILA项目组为供应商提出了以下建议:与图书馆或机构共享数据所有权;为图书馆或机构提供数据存取途径和方法;开发和使用互操作性标准等。

3.3 组织文化障碍

图书馆学习分析最主要的障碍是图书馆及其机构的组织文化障碍。首先,缺乏数据驱动决策文化的机构,即使从学习分析项目中获取数据,可能也没有政策和资源来实施;其次,经历过评估项目失败或执行不力的机构,可能已经形成了一种悲观、不信任的文化,这样的机构也不太可能接受学习分析;最后,即使有的机构对学生学习数据感兴趣,可能也会在实践过程中遇到诸如缺乏政策支持、利益相关者反对或资源不足等挑战。

除了了解学习分析在机构内的接受度外,图书馆员还应了解学习分析在机构和图书馆内实施的成熟度。为此,LIILA项目组提出了图书馆学习分析成熟度模型,如图1。图书馆员可以通过调查学习分析在机构和图书馆内是如何定义的、如何部署的、如何管理的及如何做出决定和采取措施支持学生学习的来衡量学习分析在机构内实施的成熟度。此外,图书馆员还可以讨论图书馆参与一般学习评估项目和参与学习分析项目不同的动机和目的,参与批判性反思不仅可以持续改进图书馆员的教学方法,还能使学生从图书馆教学活动中获得更多的收益。

4 图书馆机构学习分析整合未来努力方向

图书馆机构学习分析整合不仅存在数据和组织文化上的障碍,而且还可能带来隐私方面的风险,但这些问题并非无法克服,LIILA项目组为图书馆员提出了以下努力方向。

(1)图书馆员可以通过阅读、互相交流、讨论或邀请利益相关者参加会议等方式加深对学习分析的认识和了解,图书馆员还可以与机构学习分析人员和机构委员会联系,将图书馆纳入机构层面的学习分析对话中,提高机构对图书馆在学习分析中作用的认识。

(2)图书馆员可以确定最有可能为学生学习提供帮助的图书馆服务、资源、设施或专业等领域的数据,并展望这些数据对支持学生学习与成功的贡献。图书馆员还可以调查相关部门学习分析数据收集、维护、存储和使用的情况,并致力于保持这些数据的公开透明。同时,图书馆员还可以关注机构和图书馆是否建立了知情同意和选择机制,在充分尊重学生隐私的基础上合理使用每个选择类别中的数据。

(3)图书馆员可以识别并分析能够通过学习分析解决的问题、领域及其他相关事项,将学习分析成效置于评估方法中,确定学习分析利益相关者群体,并对他们进行优先排序。但同时,图书馆员也应该认识到,学习分析只是评估学生学习的一种方法,并不是解决所有问题的“灵丹妙药”。而且,所有的评估方法都有优缺点,图书馆员需要找到最适合解决问题和支持学生学习的方法。

(4)探索互操作性标准,与供应商谈判数据所有权。图书馆员可以探索并开发学习分析系统互操作性标准,使不同的信息系统实现连接。图书馆员还可以与机构相关部门及图书馆供应商沟通、谈判数据权力,确定谁拥有或有权访问存储在供应商和各部门系统中的数据,并与机构采购人员协商,确保数据所有权和访问权作为合同谈判的一部分。

(5)进行试点研究,将优先级情景用例开发为详细的使用案例。图书馆员可以优先考虑对学生学习有帮助的图书馆学习分析情景用例,调查将这些情景用例开发为实用案例的可行性和可用性,并进行试点研究,将这些情景用例开发为详细的可使用案例。

5 结语

我国图书馆界对学习分析的关注较少,目前仅有少量文献从理论层面探讨了学习分析在图书馆应用的可行性[14-15],实践研究还有所欠缺。针对此情况,我们可以在借鉴LIILA项目研究成果的基础上,结合各高校和图书馆自身条件,进行图书馆机构学习分析整合的尝试与探索。例如:目前,很多高校都在倡导“双一流”建设,图书馆可以收集某学科团队或专业团队学生和教师利用图书馆的相关数据,利用自身的专业优势和学科背景,分析图书馆资源与服务在支持该学科建设和促进该学科发展中发挥的作用,并根据分析结果不断调整优化图书馆资源和服务,以达到精准、科学服务该学科的目的。在此过程中,图书馆员要把握好个人隐私与机构信息需求之间的平衡,做好数据安全和隐私保护工作,争取在遵守道德和法律规定的基础上,促进学习分析的健康发展。相信在机构和图书馆员的共同努力下,未来图书馆学习分析整合一定能在高校及圖书馆的发展中发挥更大的作用。

参考文献:

杨贺晴,黄颖,刘莉.北美高校图书馆学习分析现状与启示:ARL《SPEC Kit 360:学习分析》报告解读[J].图书馆理论与实践,2019(11):90-96.

CONOLE G, GASEVIC D, LONG P, et al. Proceedings of the 1st international conference on learning analytics and knowledge, LAK 2011[C].Banff, AB, Canada.2011.

OAKLEAF M. Library integration in institutional learning analytics [EB/OL].[2021-04-15].https://library.educause.edu/resources/2018/11/library-integration-in-institutional-learning-analytics.

NACKERUD S, FRANSEN J, PETERSON K, et al. Analyzing demographics: assessing library use across the institution [J].Portal: Libraries & the Academy, 2013,13(2):131-145.

EDUCAUSE. Integrated planning and advising for student success [EB/OL].[2021-04-30].https://library.educause.edu/topics/student-success/technology-enabled-advising.

BlueStar. DePaul is committed to helping students succeed [EB/OL].[2021-05-13].https://offices.depaul.edu/university-registrar/about/Pages/bluestar.aspx.

OAKLEAF M, WHYTE A, LYNEMA E, et al. Academic libraries & institutional learning analytics: one path to integration [J].The Journal of Academic Librarianship,2017,43(5):454-461.

The Pell Institute. Indicators of higher education equity in the United States: historical trend report [R].Washington, DC: PennAHEAD, 2018:18-34.

KAHN B K, STRONG D M, WANG R Y. Information quality benchmarks: product and service performance[J].Communications of the ACM,2002,45(4):184-192.

OAKLEAF M. The problems and promise of learning analytics for increasing and demonstrating library value and impact [J].Information and Learning Science,2018,119(1/2):16-24.

LONG P, SIEMENS G. Penetrating the fog: analytics in learning and education [J].Educause Review,2011,46(5):31-40.

ECAR-ANALYTICS Working Group. The Predictive Learning analytics revolution: leveraging learning data for student success [R].Louisville, CO: ECAR, 2015:11.

Association of College & Research Libraries. Data in the library is safe, but that’s not what data is meant for: exploring the longitudinal, responsible use of library and institutional data to understand and increase student success[R]. USA: ACRL, 2017.

高霏霏.学习分析支持下的图書馆嵌入式服务研究[J].新世纪图书馆,2018(4):63-68.

许群毅.基于学习分析技术的数字图书馆信息服务优化研究[J].图书馆学刊,2016,38(9):114-117.

邱茹林 青岛科技大学图书馆馆员。 山东青岛,266041。

李林华 青岛科技大学财务处副处长,副研究员。 山东青岛,266041。

(收稿日期:2021-06-02 编校:谢艳秋,曹晓文)

3590500338292

猜你喜欢
资源优化学习分析教学评估
多项目背景下电力施工型企业基于关键链技术的资源优化方法研究
大数据思维下教学过程数据分析及应用研究
在线学习过程管理大数据的建设与应用
简析小学劳动与技术教育的有效合作学习
基于大数据的本科教学质量保障体系建设研究
浅议网络自主学习的评估对大学英语课堂教学的促进作用
浅析大数据在教育中的应用
利用同课异构资源优化高中物理教学的研究
“五个度”见证我国高等教育
高校战略联盟的效应与模式:基于资源优化的视角