基于学科核心素养的多模态教学知识图谱构建研究

茶思月 张秀 李红

摘  要：多模态教学知识图谱是促进智慧教育的主要手段之一。文章根据学科核心素养发展理念，通过梳理多模态知识图谱的研究现状，以高中“信息技术”课程为例，收集了图片、音频、视频等形式的关于高中信息技术课程的多模态教学资源，设计基于学科核心素养的多模态教学知识图谱构建框架，使用Neo4j图数据库构建了关于高中信息技术课程的多模态教学知识图谱模式。

关键词：学科核心素养；多模态教学知识图谱；构建

中图分类号：TP391.1；G42    文献标识码：A 文章编号：2096-4706（2023）01-0173-06

Research on the Construction of Multi-Modal Teaching Knowledge Graph

Based on the Discipline Core Literacy

CHA Siyue， ZHANG Xiu， LI Hong

（School of Information Science and Technology， Yunnan Normal University， Kunming  650500， China）

Abstract： Multi-modal teaching knowledge graph is one of the main method to promote Smart Education. Based on the development concept of subject core literacy， this paper combs the current research status of multi-modal knowledge graph， takes the high school “Information Technology” course as an example， and collects multi-modal teaching resources about high school information technology courses in the form of pictures， audios， videos， and other forms. It designs a multi-modal teaching knowledge graph construction framework based on discipline core literacy， and constructs a multi-modal teaching knowledge graph model for high school information technology courses by using the Neo4j graph database.

Keywords： discipline core literacy; multi-modal teaching knowledge graph; construction

0  引  言

文件《中国学生发展核心素养》提出了“学科核心素养”，目的是促进核心素养在各学科中的落实[1]。2022年3月25日，教育部关于印发义务教育课程方案和课程标准（2022版），“让核心素养落地”，是本次课程标准修订的重点工作。这次新课标强调对课程内容要用结构化的方式进行组织，即既要注重学科知识结构，还要关注在这样的结构中学生活动及其方式的结构化，为课程内容的生活化、动态化、教学活动的综合性和实践性提供基础。本次课程修订有利于引导教师主动变革教学实践，注重教学的关联性、整体性。

目前，关于知识图谱在教学中的应用研究逐渐增加。杨宏伟尝试将知识图谱应用于旅游管理学科的课程教学中[2]，建立的教学模式具有应用范围广、便于规范、检查与操作等特点，帮助学生对系统的专业知识进行建构[3]。戈其平等人提出了一种基于数学教学的知识图谱构建方法，并进行了知识图谱可视化，能够将离散与碎片化的数学知识进行结构化与完整化。崔京菁、马宁等人构建了以协同知识建构和生成性教学理念为核心的基于知识图谱的翻转课堂教学模式，验证了知识图谱良好的学习效果[5]。陆星儿、曾嘉灵等人采用共词分析法和社会网络分析法建立基于课程知识点的知识图谱，使在线学习模式发生了改变[6]。清华大学研究员利用知识图谱技术，构造出基础教育知识图谱eduKG，并将其应用智慧课堂中[7]。

为此，本次研究的目标是基于学科核心素养构建出多模态教學知识图谱，并将其应用到信息技术课堂教学实践，提高教学知识图谱的趣味性及实用性。

1  多模态知识图谱研究现状

1.1  多模态知识图谱研究综述

在中国知网数据库中以主题为“多模态知识图谱”进行检索，结果显示共有176篇文献，如图1所示。

从图中可以发现，关于多模态知识图谱的研究从2014年开始，并呈现逐年递增的趋势，其中2022年的发文量截至目前只有67篇，说明多模态知识图谱目前还处于研究的初期，研究工作还比较少。该方向的研究工作主要围绕在可视化分析、深度学习、推荐系统上。

文献[8]从多关系链接预测和实体匹配任务的角度定义多模态知识图谱，其中包括全部实体的数字特征和（链接到的）图像以及多个知识图谱对之间的实体对齐方式。文献[9]中通过向维基数据中的文本实体分发足够多样的图像来提供全面的多模态知识图谱。还根据维基百科中的超链接和描述在图像实体之间设置RDF链接。文献[10]将多模态知识图谱定义为：包括音频、视频以及图像、文本等各种数据类型的知识图谱[11]。它将图像或文本作为实体或实体属性。该研究提出了多模态知识图谱注意网络（MKGAT）以通过利用多模态知识更好地增强推荐系统。根据现有的研究，对于多模态知识图谱的认识一般较为简单，可以看作它拥有很多包含视觉、听觉等多模态数据的多模态实体和属性的知识图谱，对语义理解和可解释推理有促进作用[8，12]。如图2所示，是一个简单的关于电影多模态知识图谱实例。

目前，多模态知识图谱构建的实质是将传统KG中的符号知识（包括实体、概念、关系等）与相应的图像相关联[13]，其方法主要有基于图数据库视角和基于知识图谱视角的构建，构建过程中使用的技术主要有三种：模态信息提取、多模态表示学习和多模态实体链接[11]。

1.2  多模态知识图谱应用

多模态知识图谱应用主要从多模态知识图谱的内应用和外应用，如表1所示。其中外应用是指不受MMKGs边界的限制，但是可以得到MMKGs辅助的下游应用。

多模态知识图谱的应用与知识图谱的应用（如图3所示）主要区别在于：传统知识图谱主要集中研究文本和数据库的实体和关系，在传统知识图谱的基础上，多模态知识图谱构建了多模态（如视觉模态）下的实体[11]，以及多模态实体之间的多模态语义关系[14]。

2  多模态课程知识图谱相关工作

2.1  开源多模态知识图谱

2.1.1  DBpedia

DBpedia[15]作为近十年来语义网研究的中心领域，其丰富的语义信息也将成为未来多模态知识图谱的链接端点，其完整的本体结构为构建多模态知识图谱提供了极大的便利。DBpedia它是一个旨在从维基百科全书中提取结构化信息并在网络上提供的社区。DBpedia构成了Web上链接开放数据的主要资源，目前大约有2.28亿个实体，对于每个实体，DBpedia定义唯一的全局标识符[11]，可以在网络引用RDF描述的实体。DBpedia与其他资源形成关系的语言章节约有20种。在过去的几年里，越来越多的数据发布者开始建立数据集链接到DBpedia资源，使DBpedia成为新数据Web互联中心。

2.1.2  Wikidata

Wikidata[16]中也存在大量的多模态资源，收集了越来越多的结构化数据，包括数字，日期，坐标和许多类型的关系。活动的SPARQL端点、常规的RDF转储和链接数据API是目前Wikidata核心技术，Wikidata目标是通过创建维基百科全球管理数据的新方法来克服数据的不一致性。Wikidata主要成就包括：Wikidata提供免费的合作知识库，每个人都可以共享；越来越多的网站浏览页面通过从Wikidata中获取内容资源，以此提高大数据的可见性和实用性。

2.1.3  IMGpedia

IMGpedia[17]是一个大规模的链接数据集，它包含了维基共享资源数据集中图像的视觉信息。它汇集了1 500万张图像的视觉内容描述符以及这些图像之间的4.5亿视觉相似关系，指向DBPEDIA COMMONS的图像元数据的链接，以及与单个图像相关的DBPEDIA资源的链接。IMGpedia旨在从维基百科发布的图片中提取相关视觉信息，收集所有词条的图片和多模态数据并为每个图像生成相应的图像描述符。IMGpedia是多模态知识图谱的一个先例。将语义知识图谱与多模态数据相结合，在各种任务下面临着挑战和机遇。IMGpedia使用能够公开引用和实现的四种图像描述符进行基准测试。IMGpedia提供了维基数据的链接，旨在提供更好的语义搜索平台。IMGpedia在多模态方向是一个很好的先例，存在的问题有：关系类型稀疏、关系数量少、图像分类不清晰等[11]。

2.1.4  MMKG

MMKG[8]以传统的文字知识图谱Freebase为基础，使用常用的子集Freebase15k作为构建的基础，构建的多模态知识图谱是三个知识图谱的集合，汇集了所有实体的数字特征和（链接到）图像以及还有三个知识图谱之间的实体对齐（通过sameAs进行链接）[11]，也通过实验证明了MMKG在相同链路预测任务中的有效性。MMKG是用于链路预测和实体匹配研究，包含了所有实体的数字特征和图像。主要贡献如下：依据Freebase15k构建了DBpedia15k和YAGO15k，通过sameAs链接将Freebase中的实体与DBpedia、YAGO中的实体连接起来，同时三个知识图谱都含有丰富的数字文字和图像信息，以及链接这些知识图谱队之间的sameAs谓词、数字文字和实体的图像链接，证明了知识图谱的补全问题可以从受益于多模态数据中。

2.2  多模态知识图谱技术架构

数据来源的多样性导致了不同的知识图谱构建过程，知识图谱的构建主体主要是知识获取、知识融合、知识加工和知识[18]更新这四个方面。知识图谱的构建方法主要有两种，一种是自底向上的構建方法（如图4所示）；一种是自顶下的构建方法[19]。自底向上的构造方法从openurl中的数据源提取实体、属性和关系，并添加到知识图谱的数据层。然后将这些知识元素进行归纳整理，逐步抽象成概念，最后形成模式层。自顶向下与此相反。

3  基于学科核心素养的多模态教学知识图谱构建

3.1  基于学科核心素养的多模态教学知识图谱构建框架

首先，基于学科核心素养，分析了多模态教学知识图谱的教育目标价值取向和应用需求分析，明确了其构建目标以及具体的应用范围；其次，根据教学的基本原则，对多模态教学知识图谱的总体目标定位，并逐级细化其应用范围[20]；最后，根据教学原则，定义了实体类型、实体属性和实体关系。基于此，本文提出了以学科核心素质为导向的多模态教学知识图谱，构建框架如图5所示。

3.2  学科核心素养发展导向下的多模态教学知识图谱模式构建案例

本次研究构建了面向高中信息技术学科多模态知识图谱模式，选取“信息系统与社会”模块给出了高中信息技术学科知识图谱的构建结果示例。进行高中信息技术的学科知识分析，提取知识单元之间的联系，并利用图像、视频、音频、文字来表现知识单元之间的网络结构和交叉、演化、衍生等关系[21]。并以文本、图片、视频、音频等多种形式结合灵活的教学方法在教学过程中呈现出来，以此帮助教育者规划教学路径、使学习者提高学习效率[22]、建立知识结构关系。

3.2.1  高中信息技术学科知识图谱实体属性定义

从信息技术课程的学科核心素养、教学培养目标和教学大纲出发，对高中信息技术教材的知识点进行整理，获得教学知识图谱的框架结构，构建出知识图谱的知识点体系实体属性表（如表2所示）。此外，需预定义好知识点的一些必有属性，比如：序号、名称、概念、难易程度等。

综合以上信息，获得信息技术课程知识点和预定义的相关属性。在之后进行属性值的抽取和多模态教学资源收集的过程中，就可以充分利用这些数据。

3.2.2  知识抽取和多模态教学资源的收集

本文以“高中信息技術”这门课为例，其多模态教学资源可以包括：（1）纯文本知识资源。这种类型的资源主要从课程大纲、教材等书籍资料以及网络平台中获取。（2）教程类资源。对于这门课来讲，在学习信息系统的开发过程、通信网络、计算机与移动终端等知识点时需要相应的网络教程。（3）其他多模态教学资源，主要包括图像、声音、视频等相关资源。这类资源可以在现有的环境中获取，以及在网络平台获取具体的信息资源，并加以整理和分类，提高资源的使用效率。

3.2.3  实体关系挖掘

根据高中信息技术课程知识内容，使用Python爬取实体及实体间的关系，并把爬取到的内容进行整理，形成实体文件、实体间关系文件，如表3和表4所示。

3.2.4  利用Neo4j创建知识图谱

把创建好的实体文件（表3）、实体间关系文件（表4）导入到Neo4j Desktop中，并运行，得到相应的知识图谱如图6所示。

使用Neo4j图数据库，对高中信息技术课程知识子领域图谱进行可视化。如图6所示，共有71个实体和67条关系。

3.2.5  多模态教学知识图谱展示

根据上述步骤，最终得到一个完整的多模态教学知识图谱。图7是以“高中信息技术（信息系统与社会）”课程为对象，构建的多模态知识图谱的一部分展示。

该图谱主要为了实现知识点的检索与可视化，并可以基于图谱获取知识点相关的各类多模态资源，让教师可以借助多模态知识图谱，系统把握信息技术课程的主题内容和知识结构，根据推荐的最佳课程内容开展教学活动；此外，学生可以根据多模态教学知识图谱中的知识内容和组织关系，完成对信息技术课程知识点的梳理，及时查漏补缺。其次，可以为学生推荐合适的个性化学习资源，规划本课程的学习路径，在一定程度上提高学生的学习质量和效率。

4  结  论

本文希望能够基于学科核心素养构建出高中信息技术课程的多模态教学知识图谱，丰富传统教学知识图谱的内容，使得信息技术课程的教学知识图谱具有实用性、趣味性、创新性。本文构建的多模态教学知识图谱不是单一的文字形式，而是融合了多模态的资源，如视频、音频、图像、声音等，使得教学知识更加的丰富。在教学过程中，丰富的教学内容和知识能够激发学生的学习兴趣。本文尝试将多模态知识图谱应用于信息技术课程教学中，构建多模态教学知识图谱，并应用于课堂教学实践，提高教学效率和质量。

参考文献：

[1] 核心素养研究课题组.中国学生发展核心素养 [J].中国教育学刊，2016（10）：1-3.

[2] 杨宏伟.“知识图谱”在旅游管理学科课程教学中的系统应用 [J].经济师，2013（4）：147-148.

[3] 史宇坤，许姝艺，董少春.基于知识图谱的增强型混合式学习的教学实践与思考 [J].高校地质学报，2022，28（3）：387-393.

[4] 戈其平，钟艳如.基于数学教学的知识图谱构建 [J].计算机技术与发展，2019，29（3）：187-189.

[5] 崔京菁，马宁，余胜泉.基于知识图谱的翻转课堂教学模式及其应用——以小学语文古诗词教学为例 [J].现代教育技术，2018，28（7）：44-50.

[6] 陆星儿，曾嘉灵，章梦瑶，等.知识图谱视角下的MOOC教学优化研究 [J].中国远程教育，2016（7）：5-9+79.

[7] LIU Y，LI H，GARCIA-DURAN A，et al. MMKG：Multi-Modal Knowledge Graphs [C]//European Semantic Web Conference.Cham：Springer，2019：459-474.

[8] LIU Y，LI H，GARCIA-DURAN A，et al. MMKG：multi-modal knowledge graphs [C]//European Semantic Web Conference.Cham：Springer，2019：459-474.

[9] WANG M，QI G，WANG H F，et al. Richpedia：a comprehensive multi-modal knowledge graph [C]//Joint International Semantic Technology Conference. Cham：Springer，2019：130-145.

[10] SUN R，CAO X，ZHAO Y，et al. Multi-modal knowledge graphs for recommender systems [C]//Proceedings of the 29th ACM international conference on information & knowledge management.New York：ACM 2020：1405-1414.

[11] 董晓晓，周东岱，黄雪娇，等.学科核心素养发展导向下教育领域知识图谱模式构建方法研究 [J].电化教育研究，2022，43（5）：76-83.

[12] O?ORO-RUBIO D，NIEPERT M，GARC?A-DUR?N A，et al. Answering visual-relational queries in web-extracted knowledge graphs [J/OL].arXiv：1709.02314 [cs.LG].（2017-09-07）.https：//arxiv.org/abs/1709.02314v6.

[13] ZHU X，LI Z，WANG X，et al. Multi-Modal Knowledge Graph Construction and Application：A Survey [J/OL].IEEE Transactions on Knowledge and Data Engineering（Early Access），2022：1-20（2022-11-23）.https：//ieeexplore.ieee.org/document/9961954.

[14] 朱佳，黄昌勤，韩中美，等.多模态知识图谱的实体对齐方法、装置及存储介质与流程：202110686557 [P].2021-09-07.

[15] AUER S，BIZER C，KOBILAROV G，et al. Dbpedia：A nucleus for a web of open data [M]//The semantic web.Berlin：Springer，2007：722-735.

[16] VRANDECIC D，KROTZSCH M. Wikidata：a free collaborative knowledgebase [J].Communications of the ACM，2014，57（10）：78-85

[17] FERRADA S，BUSTOS B，HOGAN A. IMGpedia：a linked dataset with content-based analysis of Wikimedia images [C]//International Semantic Web Conference. Cham：Springer，2017：84-93.

[18] 朱明超.證券知识图谱构建系统的设计与实现 [D].上海：东华大学，2021.

[19] 刘峤，李杨，段宏，等.知识图谱构建技术综述 [J].计算机研究与发展，2016，53（3）：582-600.

[20] 陈烨，周刚，卢记仓.多模态知识图谱构建与应用研究综述 [J].计算机应用研究，2021，38（12）：3535-3543.

[21] 邱祯君，李晨光，李雯欣，等.基于科学知识图谱的创新网络研究热点与前沿分析 [J].现代管理，2021，11（8）：894-904.

[22] 杜丙新.基于知识地图的网络课程资源导航设计研究 [J].创新教育研究，2020，8：388.

作者简介：茶思月（1997—），女，彝族，云南大理人，硕士在读，研究方向：教育技术应用研究；张秀（1998—），女，汉族，云南昆明人，硕士在读，研究方向：教育技术应用研究;通讯作者：李红（1970—），女，回族，云南昆明人，就业处处长，博士，研究方向：教育技术学应用。

收稿日期：2022-09-20