融合AI与AR的情景式英语学习资源设计与实践应用

蒋艳丽 赵瑞斌 邓玉婷 殷雨洁

【摘 要】信息时代，要推进信息技术与英语学习深度融合，提升初中生的英语口语表达能力。本研究结合人工智能、增强现实技术，基于ADDIE模型、Unity引擎，设计开发初中英语口语学习资源。该软件不仅实现了人机对话，还能通过AR识别、角色选择等功能进行情景对话，切实提高学习者对英语口语的学习热情和兴趣，解决初中生英语口语学习困难等情况。

【关键词】AR技术；人工智能；初中英语；资源开发；情景化学习

【中图分类号】G434   【文獻标识码】B

【论文编号】1671-7384（2024）02、03-130-04

《义务教育英语课程标准（2022年版）》中强调，要推进信息技术与英语教学的深度融合，重视教育信息化背景下英语课程教与学方式的变革，满足学生个性化学习。教师要努力营造信息化教学环境，为学生搭建自主学习平台，提高英语学习效率。引导学生乐学善学，根据学生的认知特点，设计多感官参与的语言实践活动，让学生在丰富有趣的情境中感受英语的乐趣[1]。增强现实技术和人工智能应用于英语口语教学可以为学生提供情景化、个性化、互动性强的学习体验，帮助学生更有效地提升英语口语能力。它们不仅可以提供实时的反馈和指导，还可以创造出有趣的学习环境，激发学生的学习兴趣和动力。

技术背景

近年来，以增强现实技术、人工智能等为代表的新兴技术正推动着教育领域的新一轮变革，展现出了在学科融合方面的巨大潜力。增强现实（Augmented Reality， AR）是一种3D技术，能实时融合物理世界和数字世界，通过图形计算和对象识别技术来增强用户对现实世界与虚拟对象的可视化[2]。它具有以下特点：一是虚实结合，即将虚拟环境与现实环境结合；二是实时交互，即跟踪用户动作和环境变化，实现用户与虚拟对象的即时交互；三是增强现实感，即叠加虚拟对象在现实场景中，提供更直观、更丰富的信息，增强用户对现实世界的感知和理解；四是多感官体验，即除了可以通过视觉呈现虚拟对象，还可以结合声音、触觉等多种感官，提供更加沉浸式的用户体验。AR应用于各种领域，如教育、工程、医疗等，为用户提供更实用、更便利的服务和体验。AR技术弥合了虚拟世界和现实世界之间的差距，为教学和学习开辟了新的途径，并对教育领域产生了重大影响[3]。

在英语口语学习中，AR技术可用于以下几个方面：一是虚拟角色和场景，学生可以与虚拟角色进行对话，提高口语表达能力。虚拟场景可以模拟真实情境，让学生在不同情境中练习口语。二是虚拟实验室，学生可在虚拟实验室中进行口语实践，如模拟访问国外的商店或餐厅，提高实际口语应用能力。三是交互式教材，通过AR技术将教材中的图片、文字等转化为虚拟内容，让学生通过触摸或手势与之互动，增加学习的趣味性和参与度。

人工智能（Artificial Intelligence，AI）技术是一种模拟和模仿人类智能的技术，主要包括机器学习、自然语言处理、计算机视觉等几个方面，可以实现自主决策、学习能力、大数据处理和自然语言处理等功能，为人类提供了更智能、更高效的解决方案和服务。在教学领域，人工智能可以通过语音识别、自然语言处理等技术，为学生提供个性化的学习支持和反馈。如在英语口语教学中，AI可用于语音识别和评估，帮助学生进行口语练习，纠正发音错误，提高口语流利度。人工智能系统还能根据学生学习情况和需求，提供个性化的辅导和反馈，如推荐适合的学习材料和练习内容。最后，AI能实现智能对话和互动，模拟真实对话情境，帮助学生提高口语表达能力和自信心。

我国英语口语教学现状

我国初中英语口语教学存在以下问题：首先是教学方法单一。大部分学校仍然以传统教学方式为主，教师对口语的重视程度不够，只注重课堂讲解和学生的听写、背诵等机械性的活动，缺乏互动和实际口语练习。其次是学生口语练习机会不足。由于课堂时间有限，学生的口语练习相对较少，缺乏实际口语练习的机会，导致口语表达能力的欠缺。最后是很多学校口语教学缺乏真实的语境，学生只在教室中进行口语练习，缺乏与外语环境的接触和实践，导致学生学习动力不足、兴趣不高，不能够积极主动地参与口语练习活动。

情景化学习理论认为，学习不仅仅是知识的传递，更是一种社会参与和实践的过程。通过参与真实的情境和社会活动，与他人进行交流和合作，学生能够更好地获取知识和技能，并将其应用于实际情境中。增强现实技术通过将虚拟内容叠加到现实世界中，提供丰富的学习资源和体验。人工智能进入教学实践场景，发挥了即时反馈、多角度评价、个性化推荐、资源无限扩展等优势[4]。AI与AR的深度融合，能够为学生提供个性化学习、实时反馈、自适应教学、互动体验、丰富资源和教师辅助等帮助，提升学生的学习效果和学习质量。

英语学习资源开发

ADDIE模型是一种常用于教育和培训领域的系统化教学设计模型。它由分析、设计、开发、实施和评估五个阶段组成，各个阶段相互关联，缺一不可。本研究以ADDIE模型为指导，融合AR和AI开发初中英语口语学习资源，为学生提供一种交互式和情景化的学习体验。该学习资源以译林版英语教材——八年级上册第五单元“Wild animals”为例，以野生动物为主题进行AR设计开发。

1.功能设计

考虑到像微软HoloLens和HTC Vive这样的设备成本更高，我们的学习资源基于平板和手机等移动端进行设计。基于前期调研分析，完成学习活动、增强现实应用场景、学习资源功能等设计，具体功能设计包括单词、AR识别、跟读三个模块（图1）。在这三种学习模式下，学生自主选择相应单元学习。并且可以选择不同单元（Unit1-Unit8）。在单词模块可以跟读单词，纠正发音。跟读模块中学习者同样可以自由进入不同单元学习、跟读以及对话。本学习资源重点在AR识别模块，此模块能够还原Unit5“Wild animals”动物园场景，学习者在AR环境下体验与虚拟人物交流，任选角色与虚拟环境进行交互，点击虚拟场景中动物可进行旋转、缩放，对课本知识有更深刻的理解。

2.开发与实现

我们使用3D Max、Unity游戏引擎和Vuforia插件开发学习资源。3D Max是一种专业的3D计算机图形程序，用于创建动画模型和虚拟环境。Unity是一款跨平台的游戏开发引擎，可用于创建高质量的游戏和应用程序。Vuforia是一个增强现实开发平台，允许在Unity引擎中创建基于图像识别的AR应用程序。通过使用Vuforia插件，可以将虚拟内容与现实世界叠加，并实现与虚拟对象的交互。以上工具的选择为Unit5“Wild animals”主题开发学习资源提供了保障。结合C#语言和语音识别技术等AI技术，应用于AR程序，有望提高AR系统的灵活性和有效性。

（1）AR

在英语口语学习资源中，使用Unit5“Wild animals”单元首页（图2）作为AR标记来启动AR场景。开发过程主要依赖于Vuforia插件，该软件可以在移动设备上创建交互式的AR应用程序。通过Vuforia开发AR学习资源，将虚拟内容与真实世界结合，提供沉浸式和互动的学习体验。学生可以通过观察、操作和探索虚拟对象，深入理解学习内容，并应用所学知识。具体原理如下：一是图像识别。Vuforia使用计算机视觉技术实现图像识别，开发者提供目标图像作为AR场景的触发器，可以是书籍封面、海报、物体等。Vuforia分析摄像头捕捉到的图像，识别目标图像。本研究开发目标图像如图2所示。二是坐标追踪。Vuforia识别目标图像后，追踪其在摄像头视野中的位置和方向。开发者可以将虚拟对象与目标图像对齐，使其在现实世界中出现。三是虚拟对象渲染。Vuforia支持3D模型、视频、音频等虚拟对象。根据目标图像的位置和方向，Vuforia将虚拟对象准确地放置在AR场景中。四是交互和反馈。Vuforia支持用户与虚拟对象交互的功能。开发者可以定义触发事件，如点击、滑动等，触发虚拟对象的动作。Vuforia还提供反馈信息，如虚拟对象上的标记或提示，引导用户学习。

（2）AI百度语音识别

为了将AI更好地融入学习资源中，使用百度AI中的语音识别功能进行开发。百度AI是百度公司推出的人工智能平台，其语音识别技术基于深度学习和大数据技术，通过对大量语音数据进行训练和模型优化，实现高准确率的语音识别功能，能将人类的语音输入转化为文本输出。本学习资源中学生在与虚拟环境角色对话过程中可自动识别对话内容。基于Unity开发引擎的百度AI语音识别主要是通过SDK提供的接口与百度AI语音识别服务进行通信，实现将音频数据转换为文本的功能。通过配置认证信息、创建识别器和获取识别结果等步骤，可以完成语音识别的整个过程。其具体流程如下。

先是导入SDK：在Unity项目中导入百度AI语音识别的SDK，提供与百度AI语音识别服务通信的接口和方法。然后配置认证信息：在代码中配置认证信息，包括App ID、API Key和Secret Key，可在百度AI开放平台上创建应用获取。接着创建识别器：使用SDK接口创建语音识别器对象，与百度AI语音识别服务进行交互。之后设置参数：创建识别器后，设置参数如语言类型、采样率、音频格式等，影响语音识别结果。获取音频数据：通过麦克风、文件或网络流方式获取音频数据，可使用Unity API或第三方插件实现。传输音频：将待识别的音频数据传输给语音识别器对象，调用方法将音频数据发送到百度AI语音识别服务进行识别。获取识别结果：等待百度AI语音识别服务返回识别结果，通过回调函数或轮询方式获取。最后处理识别结果：对识别结果进行处理，如文本分析、语义理解等后续操作。

AR和AI的有效结合有助于开发者创建更具沉浸感和吸引力的移动应用，使学习变得更加有效。虽然AI和AR是不同的技术，但它们可以在各种应用程序中相互协调，可以利用彼此的最佳功能和特点，创造出令人惊叹的移动体验。

（3）功能实现

AR扫描：从主界面（图3）点击进入AR识别模块，扫描单元首页（图2）启动AR场景，学生根据自己的学习安排选择相应的角色，进入AR场景进行对话练习。

情景学习：情景化学习理论强调学习的情景化和真实性。该理论认为学习应该在与实际应用相似的情景中进行，以便更好地将学习的知识和技能应用于实际情境中。基于情景化理论，在学习资源“Wild animals”设计中，以野生动物为主题，为了更好还原野生动物场景，让学生在较为“真实”的情景中学习，先用3D Max构建动物园及动物模型，并将英语学习虚拟场景以FBX格式导入Unity中。在动物园中，学生不仅能仔细观察课本涉及的动物，加深对课本知识的理解，还能置身于真实的语言情境中，模拟实际对话交流的场景。这有助于学习者更好地理解和应用所学的语言知识。

角色互换－机器对话：在情景式体验“野生动物”主题中，不仅能近距离观察野生动物，还为学习者提供不同角色（Millie和 Simon）选择对话。通过角色互换对话，学习者可以扮演不同的角色，练习不同的语言表达方式，从而增强他们的语言表达能力和流利度。这种学习方式可以激发学习者的学习动机和兴趣，因为他们可以通过扮演不同角色来体验不同的身份和情感体验，从而更深入地参与学习。同时，该学习资源可以根据学习者的水平和需求进行个性化的设置和调整，提供个性化的学习体验。这种个性化学习体验可以更好地满足学生的需求，优化学习效果。

语音识别：AI语音识别技术与AR的有效融合，为学习者提供了更加智能和便捷的交互体验。通过语音识别技术，用户可通过语音与AR应用交互与控制。在“英语口语学习资源”中，用户可以通过语音和场景人物对话交互。当然，这一部分也是正在开发和将要完善的重要功能。

实践应用

将所开发的学习资源应用于初中学校的学习环境中。本次实践选择在徐州市某中学八年级某班级展开，共有47名学生参与。在实验开始前，给学习者讲解使用方法和流程，并分发相关学习材料，包括平板、手机、耳机、课本等。学生学习结束后，以问卷和访谈的形式收集数据。数据包括学生使用学习资源后的学习态度、学习满意度、认知负荷和系统可用性四个方面。

通过评估学生的口语表现、学习成果和用户满意度以及对系统性能和效果的评估，确定是否需要进行改进和修改，以提高学习资源的质量和效果。实验表明大部分学生的学习兴趣有所提升，学习满意度较高，对系统可用性的评分也较高。部分学生也给我们提出了软件进一步改进的意见，比如在单词模块最好也加上语音识别功能等。下一步我们会根据学生的意见和建议进一步修改，提高学习资源的质量。

英语口语学习资源是一款融合AI和AR的移动学习软件，可实现通过虚拟场景和交互式模拟，提供真实的口语训练体验。为学生提供更加个性化和互动性的学习体验，提升学生的学习效果和体验，提高口语表达能力和自信心。本研究学习资源的设计开发旨在结合教材，运用AR和AI解决初中生英语学习过程中缺乏真实情景、学生兴趣低等实际教学问题。接下来，我们会根据教师和学生的建议进一步完善学习资源功能。

注：本文系2022年江苏师范大学科研与实践创新计划项目“VR促进STEAM教育的主要路径及典型应用研究”（项目编号：2022XKT1497）的研究成果

参考文献

中华人民共和国教育部. 义务教育英语课程标准（2022年版）[S]. 北京：北京师范大学出版社，2022.

Azuma R T. A survey of augmented reality[J]. Presence： teleoperators & virtual environments， 1997， 6（4）： 355-385.

Wu H K， Lee S W Y， Chang H Y， et al. Current status， opportunities and challenges of augmented reality in education[J]. Computers & education， 2013， 62： 41-49.

安欣，沈希，周穎，等. 英语教师视角下人工智能与教学的融合发展：机遇、挑战与提升路径[J]. 现代教育技术，2023，33（2）： 71-79.

作者单位：江苏师范大学智慧教育学院

编   辑：徐靖程