体感技术与教学深度融合：重塑学习体验

杨萍 史贝贝 姚宇翔

摘 要：为探索体感技术与教育教学深度融合在学习体验重塑中的作用，挖掘融合过程中相关理论、扮演角色与潜在价值，首先介绍体感技术内涵与类别，然后通过文献研究法探讨体感技术在不同教育环节中的应用，最后借助案例研究法剖析体感技术在教育中扮演的角色与潜在价值。研究发现，体感技术与教育教学深度融合的核心理论是游戏理论，其主要扮演教或学的环境、教具与学具、教或学的内容3类角色，其潜在价值主要是促进学生动觉学习、推动学生同步协作学习、实现游戏化学习。

关键词：体感技术;教育应用;学习交互;学习体验;游戏理论;动觉学习

DOI：10. 11907/rjdk. 182887 开放科学（资源服务）标识码（OSID）：

中图分类号：G434 文献标识码：A 文章编号：1672-7800（2019）009-0211-06

Deep Integration of Motion Sensing Technology and Education：

Reshape the Learning Experience

YANG Ping1，SHI Bei-bei1，YAO Yu-xiang2，WANG Yun-wu1

（1. School of Wisdom Education， Jiangsu Normal University， Xuzhou 221116，China;

2. Information Center， Suzhou Industrial Park， NO.2 senior school， Suzhou 215121，China）

Abstract： In order to explore the deep integration of motion sensing technology and education and teaching to reshape the learning experience and explore the relevant theories， roles， potential values in the integration， this paper firstly introduces the definition and categories of motion sensing technology. Then it explores the application status of motion sensing technology in different fields of education through the literature analysis. Finally， the paper analyzes the roles and potential values of somatosensory technology in education through case study. The study finds that the core theory of the deep integration of somatosensory technology and education teaching lies in game theory. The main roles are the environment of teaching or learning， the tools of teaching and learning， contents of teaching or learning. The potential values are mainly to promote students' kinesthetic learning and synchronous collaborative learning and realize gamification learning.

Key Words： motion sensing technology; education application; learning interaction; learning experience; game theory; kinesthetic learning

0 引言

地平線报告包含高等教育与基础教育两种版本，其以“预测引领”为指导理念，经历了长期定性研究，报告的目的是阐述可能对基础教育和高等教育教与学、研究与创作产生重大影响的新兴技术[1]。本文综合2010-2017年的报告发现，自然用户界面（2次）、基于手势的计算（3次）、虚拟现实（虚拟和远程实验室）（3次）、可穿戴技术（4次）、增强现实（4次）、人工智能（机器人）（4次）、创客空间（5次）、基于游戏的学习（游戏与游戏化学习）（8次）等技术术语频频出现，从中折射出人机自然交互技术对教育发展的重大作用。被称作“第三次人机交互革命原点”的体感技术更是不容小觑[2]，给教育注入了新的生机。

1 体感技术内涵与分类

1.1 体感技术内涵

体感技术（motion sensing）又称体态感知技术、动作感应控制技术、体感交互技术[3]，是虚拟现实技术的一个重要分支，主要指机器通过运动追踪、运动捕捉、手势识别、面部表情识别、语音识别等一系列技术精准捕获、识别、解析人的体态动作（躯体动作、声音、眼球转动等）[4]，并在机器端作出反馈，从而实现人机交互，此时，人的身体类似于一个控制器[2]。因此，体感技术是人机交互技术的新形态[4]。

1.2 体感技术分类

体感技术按照其体感方式与实现原理的不同，主要分为3类（见表1[5]）：惯性感测、光学感测、惯性和光学联合感测，其适用情景与具体价值各不相同[3]。鉴于专利保护，不同商家选取不同的技术。目前，大多数体感设备采用联合感测。

2 体感技术与教学的深度融合

2.1 体感技术应用现状

由于关于体感技术应用于教育的文献于2010年才开始出现，本文CNKI检索时间为2017年10月9日，因此检索年度范围为2010-2017年，并以篇名含有或关键词为“体感”进行期刊文献检索，共600篇。手动剔除与“体感技术应用于教育”不相关的文章，2010-2017年篇数分别为2、2、11、18、22、44、55、26（2017年不完整），总计180篇。显然，近3年关于“体感技术应用于教育”方面的研究与过去5年相比有显著提升，并且应用领域、范围也在逐渐扩展。除去12篇综述类文章，对剩下168篇进行细致分析，按照常见教育领域划分方法进行应用现状梳理，结果如下：

（1）学前教育，共4篇。相关案例大多根据学龄前儿童学习特点、认知规律、性格特点等，开发基于体感技术的教育游戏、幼儿认知系统、多媒体电子书，增强儿童沉浸感与游戏感，帮助幼儿进行认知训练与智力开发。比如斯里兰卡信息技术学院的老师基于Leap Motion开发了一款教育游戏，该游戏可以帮助孩子区分不同的颜色、形状、阿拉伯数字、英文字母等;在儿童多元智能教育课程中，基于Kinect开发幼儿认知系统，让孩子沉浸在模拟环境与虚拟现实中进行认知训练，并借助故事情节让孩子进行角色扮演。

（2）基础教育，共34篇。主要是将体感技术应用于中小学课程（物理、体育、天文、地理、几何、化学、科学、英语、历史），如表2[3]所示。有少量研究与创客教育融合，如孩子可利用体感控制器和3D打印技术，通过开源语言在空气中进行3D手绘创作;教师可以将体感技术引入到虚拟机器人组装系统中，提升孩子对机器人组装的兴趣，培养其实体组装动手能力;还有基于体感技术制作的教学辅助工具，如基于Kinect的体感式交互电子白板、无线体感输入设备、体感互动设备、虚拟操作实验系统、虚拟鼠标等。

（3）高等教育，共43篇。与基础教育类似，大多数案例将体感技术应用到各专业具体课程中，通常在航海、航空、化学、物理、建筑、计算机、软件工程、医学、护理学、英语、舞蹈、农业、采矿工程、机械制造、汽车、体育、新闻传播等相关专业应用较多，如表3所示;另外，还有一些体感类教学辅助工具，比如可用于林学、动物学等专业的VR体感飞行器、人体动作识别系统、全息投影、隔空多点触摸设备、电子音乐操作台等。除了在教学领域的应用，还有应用涉及图书馆与心理健康方面。图书馆内可通过体感控制改进联机公共检索目录展示效果、提升图书自动分类归档能力[6]，利用人脸和体型识别实现读者进出、书籍快速借还功能，借助语音交互技术与馆员和管理系统进行交互;心理健康教育可引入体感式虚拟宣泄系统，实现运动追踪、虚拟交互和档案管理。

（4）职业教育，共11篇。主要将体感技术融入于职业技能培训，通过开发培训系统、平台和技术，让学习者在虚拟情境中进行安全、仿真性学习与操作。如表4所示，相关职业培训主要包括飞行培训、舞蹈培训、汽车发动机装配训练、电力安全培训、消防训练、京剧训练、军事训练。

（5）特殊教育与老年教育，共20篇。主要针对不同的特殊人群（盲人、聋哑人、肢体残缺人、自闭症儿童、智障儿童等）及老年人康复训练和教学，利用体感技术设计相应的体感设备、体感游戏，或将其与教学系统、训练过程相结合。比如盲人群体可以佩戴盲人体感手环，其不仅具有智能手环的一般性功能，更配有触屏屏幕，可利用盲文触点获取信息，还可借助视觉障碍导航辅助系统实现导航功能，还可远距离精准预判;对于聋哑人群体，可以在手语教学中通过基于体感技术的手语教学平台进行手语录入和识别[7];肢体健全的聋哑人可借助基于体感的静态手语与口语互译软件和不懂手语的人进行简单交流;肢体残缺的聋哑人可以运用类似于眼动仪的体感设备，利用眼部轨迹活动的方向、距离、时间等因素操控虚拟键盘，进行汉字拼写，再通过语音播放或翻译成手语实现正常交流;对于肢体残缺人群，可借助体感接近式传感器，通过监测头部和脸部肌肉运动，替代鼠标控制电子设备控制轮椅运动;对于自闭症儿童，通常针对该类儿童的特点与学习需求设计体感游戏，对其进行干预，目的是提高其感觉统合能力、数理能力、日常生活能力、社交能力，比如在感觉统合训练中多采用动作类游戏，并且还要对本体觉、前庭觉、触觉3方面的训练区分对待[8]。在数理能力训练中多采用模拟经营类游戏，在日常生活能力训练中多采用休闲益智类游戏，在社交能力训练中多采用角色扮演类游戏。同时，还可以在体感游戏中引进虚拟强化物（表演、微笑、鼓掌等），提高儿童兴趣。另外，还可利用康复游戏训练系统V1.0，该系统包含5类康复游戏，可分别训练儿童认知能力、上肢能力、下肢能力、娱乐能力、空间知觉与一般认知能力;对于智障儿童，也可采取体感游戏对其交流能力、日常行为能力进行干预，还可利用音乐体感活动治愈其情感障碍;对于老年人群，基本上也是利用体感游戏进行康复训练，比如体感康复游戏系统包含伸展、力量、平衡、精细、脑力5大训练模式，但是模式的选择应与医师建议相结合，具体游戏涉及球类运动、记忆匹配、太极等。

（6）科普与人文教育，共33篇。主要将体感技术与虚拟场景融合，利用体感设备在虚拟场景中进行交互，进行自然科普类与人文艺术类知识展示与传播，展示模式包括沉浸式主题剧场展示、操作型和体验型互动展示，以促进全民教育发展。首先，将体感技术运用到不同科普场所的方式各异，比如气象科普馆通过利用面部表情在体感游戏中实现气象变化，天文馆可在体感模拟月球行走展项中重现月球地表结构及形状;其次，开发基于体感技术与虚拟现实的虚拟展示系统，展示内容包含科技和人文艺术，让参与者无需佩戴硬件设备便可与虚拟环境交互，系统中加入全景体感浏览、多媒体资料体感浏览、体感交互问答，森林景观漫游、工艺设计漫游、水工业遗产漫游、校园漫游、服饰展示、苗侗民居建筑展示、敦煌莫高窟漫游等多种要素;最后，在书法、音乐、舞蹈、戏剧等艺术教育上，常见做法是搭建虚拟系统，学习者可通过模拟动作、手势、力度实现虚拟表演，系統可自动识别动作是否符合规范。

（7）体育教育，共23篇。主要指非学校体育教育，包括家庭体育、社区体育、大众体育、军队体育、竞技体育、体育产业等。通过体感游戏或搭建基于体感的虚拟运动场景，目前已涉及乒乓球、拳击、射击、游泳等40多种项目，同时增添动漫与音效，可帮助运动员进行技能训练，也可促进大众主动强身健体，即兼顾教育性与娱乐性。在家庭体育中常将体感设备与TV、PC、Ipad、手机等终端相连实现亲子体感互动游戏，老人、小朋友等均可参与;社区体育则可将基于体感的健身训练指导系统与社区健康云服务平台对接，实现科学健身;在受众范围更大的大众体育中，利用基于Kinect和Unity3D的大众健身游泳系统，也可利用基于体感技术和云计算高尔夫运动训练平台，实现实际姿势与标准对比;军事体育则将体感与虚拟现实结合，制作3D模型视频辅助教学，通过运动跟踪进行数字评判;竞技体育多借助虚拟系统与体感游戏，如沙袋击打仿真系统、虚拟射击影院系统、自行车虚拟综合训练系统、武术训练系统、可穿戴式体感信息测试系统等，系统设计有训练模块、测试考核模块、人体捕捉模块等，可实时监测运动员生命体征及做功情况。

2.2 体感技术与教育融合核心理论——游戏理论

从直观上看，体感技术和教育融合的方式主要借助于体感游戏，皮亚杰最早提出针对儿童的游戏理论（游戏认知发展阶段理论）。游戏的本质在于体验。维果斯基也曾认为玩耍是一种强有力的学习方式，通过该方式，学生可以发展新技能、参与新的社交环境、担任新的社会角色。游戏与学生在学校中学习的一般方式截然不同。因为游戏会让学生积极地体验，深刻地思考，最终让学生成为知识生产者，这对于学习至关重要，但在学校学生通常只是被动地接受信息;同时，游戏中的场景大都比学校场景生动，因此借助体感游戏可以提高学生能力与技能。比如搭建虚拟环境可让学生安全地练习技能，避免真实世界的潜在危险;有特殊需求的群体（如自闭症儿童）可以练习社交技巧，降低可能的社交失败带来的负面影响。因此，游戏中虚拟世界的作用强大，可以开发情境理解，进行有效的社会实践。

体感游戏可以作为教师教学方法创新的工具。MacFarland提出了3种基于游戏的学习辨别方式：①学习是通过游戏内容刺激实现的;②知识是通过游戏内容获得的;③技能因玩游戏而提升[9]。游戏本身不能单独教授任何东西，需要教师寻找一种创造性方法将游戏的虚拟世界融入到学习活动中去[10]。因此，对游戏内容的选取至关重要，其往往取决于教师对游戏在教育中应用的理解与创造。

3 体感技术在教育融合中的典型案例

通过对应用现状的分析，可以发现体感技术在教育领域的应用方式虽然多样，但其扮演的角色最终可归纳为3种：教或学的环境、教具与学具、教或学的内容，有时会承担多个角色。体感技术在学前教育的应用有所欠缺，但随着国家对学前教育给予越来越多的关注，且体感游戏对于幼儿阶段的发展必不可少，因此，体感技术在学前教育领域有广阔的应用前景。下文分别借助3个学前教育典型案例，阐述体感技术与实际教学的融合方式。

3.1 《HEYHA安全课》——教或学的环境

一切活动的发生须借助于特定环境，教与学也是如此。基于体感技术的教学环境可为学习者提供更逼真、具有沉浸感和增强现实功能的空间，提高学习兴趣。另外，由于环境限制，有些教学内容无法在课堂中展开，需借助体感技术在虚拟环境中进行，使学习者成为环境的中心，促使其全身心地、安全地进行操作、解决问题。本部分分析对象为一个利用体感技术搭建教与学环境的案例——《HEYHA安全课》课程（见图1）[11-12]。该课程分为两种版本：课堂版和家庭版。课程内容为一系列体感安全教育，目的是树立幼儿安全意识，培养幼儿安全行为习惯与自我保护能力。因家中是儿童意外伤害最常发生的地点，所以补充家庭版课程。课程内容来自与幼儿生活息息相关的各个方面，目前包含有《如何安全过马路》、《一起去滑冰》、《小心井盖》和《快来刷刷牙》4个内容。后期将陆续推出《有电》、《这个不能吃》、《走！游泳去》等课程内容，并且结合幼儿园安全教育推出防震、防火等更贴近幼儿生活的内容。

具体步骤如下：首先，游戏开始部分以朗朗上口的儿歌形式，将知识点展现给幼儿;然后，幼儿通过具体的体感运动游戏将知识点加以巩固，即每个体感游戏均呈现出相应的虚拟界面，使幼儿通过简单的肢体动作实现在虚拟环境中过马路、滑冰、刷牙等行为，在游戏的同时了解与掌握安全知识内容。

该课程体感游戏为幼儿提供了贴近具体学习内容的虚拟场景，为幼儿搭建了一个体验知识点的平台，且游戏场景、角色采用受幼儿欢迎的卡通造型，可吸引幼儿主动、积极学习，掌握相关安全知识点。

3.2 “N-show体感学习机”——教具与学具

教与学的过程中有时需要一些辅助性工具，同时用户不希望工具带有复杂的技术操作。体感技术的应用则可让用户对技术的抗拒意识降到最低，增加其沉浸感，进而专注于学习内容本身[13]。本部分分析对象为一个基于体感技术的教具与学具案例——“N-show体感学习机”（见图2）[14-15]，由广州新节奏智能科技股份有限公司针对3-12岁生性好动的儿童研制而成，以体验式学习理论、情景学习理论和自身认知理论为基础，融入“寓教于乐”的教育理念，最初是为了辅助家长对子女进行安全教育及好奇心培养，之后拓展到幼儿园课堂教学。目前，N-show体感学习机课程内容主要包含《自然认知》、《逻辑思维》、《人际交往》等9大类体感教育课程，涵盖安全、科学、社交、语言等多个领域，其核心覆盖基于儿童素质教育的多个层面。根据不同年龄及知识接受度，分为初级、中级、高级3个阶段，并按照不同年龄段儿童心理及行为习惯，进行针对性策划。该学习机最佳操作距离是2m～4m，对儿童视力影响极小。每个课程教案均十分详尽，包括多领域主题活动设置、合理的活动目标设定、独特的体感操作说明与建议、丰富的提干拓展及詳细的教学步骤。

具体步骤如下：①借助故事、谜语、观察、游戏等方式激发幼儿的学习兴趣，完成N-show体感课程活动的引入环节;②课程活动主体环节是结合体感互动、绘本阅读、讨论、观察等方式帮助幼儿进行探索、学习、认知;③教师总结环节是教师归纳、总结幼儿活动表现、活动知识点，巩固幼儿认知。除此之外，还需注重活动延伸拓展环节，使活动与幼儿生活有机联系，延伸教学内容，进一步深化幼儿认知，并充分利用活动中的体感课件，开展区角活动或课后特色活动，辅助实现主题活动教学目标的达成。

本案例中的体感学习机是教师的辅助性教具、学生学习的小助手。学生在学习过程中，并没有过多地关注学习机，更多的是投入到课程内容学习与课程活动互动中。教师在整合体感课程时，因N-show体感课程附有体感操作说明与建议，教师无需进行繁琐的技术操作。

3.3 “神笔画画”——教或学的内容

体感游戏本身也可作為教学或学习的内容。许多以教学或学习目标为主开发的游戏直接包含了与课程标准紧密相连的学习者需学习和掌握的内容。同时，体感游戏可为学习者提供一个非常逼真的场景，使学生摆脱书本枯燥的文字，走进虚拟场景开展更真实的活动、游戏、技能训练[13]。本部分分析对象为体感游戏中涵盖教与学内容的案例——“神笔画画”游戏（见图3）[16]。它是深圳市睿云科技发展有限公司针对3-12岁幼儿、儿童自主开发的基于体感技术与虚拟现实的大型墙面互动投影游戏。目前该游戏包含3种主题：海洋奇梦、森林奇梦、奇幻世界，儿童在每个主题中均可自由创作。以“海洋奇梦”主题为例，具体步骤如下：①儿童自己设计并为海洋、海底植物和水生动物涂色;②给小动物们进行配音，并可团队合作配音编排一段海底小故事;③二维的图画通过系统在大屏幕上瞬间“活”起来，体验者通过轻拍墙面，即可探索不同角色的个性，比如小丑鱼会眨着眼睛与人互动，章鱼哥会调皮地喷出墨汁等。

本案例的体感游戏以美术教学目标为设计依据，但通过儿童自主或团队配音编排小故事，可进一步锻炼其语言表达能力、拓展团队合作能力、培养创新创造能力。

4 体感技术在教育融合中的潜在价值

（1）促进学生动觉学习。体感技术使学生借助肢体动作、手势、面目表情等与学习体验进行交互，促进学生动觉学习。皮亚杰提出感觉运动系统是认知发展的重要组成部分和内驱力。而体感技术让学生在肢体动作的交互过程中更直观地进行学习，且学生对于学习内容的思考与理解也可借助肢体动作生动地表现出来。研究表明：记忆联系的追踪频率、强度与记忆联系成正比。因此，全身反应法结合动作记忆对儿童来说，成功率最高。同时，非语言沟通（如手势和体态）是学龄前儿童几何思维发展的重要因素。比如，通过在体感游戏中使用虚拟教具，幼儿有可能通过调整自己的语言及非语言行为建立对基本几何操作的理解[17]。

（2）推动学生同步协作学习。计算机支持的协作学习（CSCL）一直备受关注，学术界不但成立了CSCL研究共同体，还创设了与它同名的定期国际会议（每年举办两次）。CSCL研究共同体认为协作是促进学习的首选方式，计算机技术可支持协作学习[17]，并强调同步协作的重要性。近年来，体感技术正在为同步协作学习提供全新机遇。通过体感技术可创设在线虚拟协作环境，使多个学生在线实时交互。比如化学专业的学生进行危险性实验时，可借助体感方式操控机械手接触危险品，并借助多人在线虚拟实验系统，将单人操作实时同步到其他实验者的实验环境中，其他人也可参与该实验。实践表明，这种在线虚拟实验系统对学习有重要价值。同时，在家庭教育中，每个家庭成员均可借助各种终端进行亲子体感同步互动与协作游戏。

（3）实现游戏化学习。体感技术与教育融合的核心理论是游戏理论。因此，最终课堂呈现的是一种游戏化学习方式。老师根据教学需要与学生特点选择体感游戏，体感游戏成为师生交流互动的平台，在该平台上，信息更加生动，可激发学生学习兴趣，学生主动性的呈现方式多种，不单局限于口头语言，更多的是肢体动作。虽然一般游戏化学习的面向对象是7-12岁的儿童，但现实中在基础教育和高等教育中应用最为广泛。同时，有研究显示，目前游戏玩家平均年龄段并非是青少年阶段，而是35岁;玩家中女性玩家占比四成[18]。因此，体感游戏学习的面向对象不单局限于青少年，还应包括他们的父母、家人，从而进一步拓展和促进职业教育、老年教育与家庭教育发展。

5 结语

体感技术与教育教学的深度融合有利于重塑学习体验。本文着重探讨了体感技术与教学融合过程中的相关理论、应用现状、扮演角色和潜在价值，以期为体感技术深度融入学习、革新教育教学提供一定理论指导。目前，在融合道路上存在两股阻力：①技术应用不足，如多数体感设备与一般教育软件不兼容，精确度不够，感应识别能力较弱，导致多数体感类平台没有良好的触觉反馈体验，且部分体感游戏未能在游戏内容设计中承载丰富的教育意义等;②教学融合困难，如在课堂教学中，通常需要划定较大的游戏区域，并放置多台电视机与体感设备，与有限的教室空间形成矛盾。因此，体感技术与教育融合还需借助新的教学模式指导、硬件设备创新及算法优化等逐步改善不足之处，实现与教育教学的深度融合。

参考文献：

[1] 王运武，杨萍. 《2017地平线报告（高等教育版）》解读与启示——新兴技术重塑高等教育[J]. 中国医学教育技术，2017，31（2）：117-123.

[2] 宗苏. 基于机器感知识别手势的研究[D]. 南昌：南昌大学，2011.

[3] 李青，王青. 体感交互技术在教育中的应用现状述评[J]. 远程教育杂志，2015，33（1）：48-56.

[4] 陈远，许亮. 面向用户泛在智慧服务的智慧图书馆构建[J]. 图书馆杂志，2015，34（8）：4-9.

[5] 百度百科. 体感技术[EB/OL]. https：//baike.baidu.com/item/体感技术/7709263.

[6] 李东旭，江澄，刘海峰. 体感技术驱动下的图书馆应用平台架构创新与体验革命[J]. 大学图书馆学报， 2012，30（5）：12-17.

[7] 张诗潮. 基于Kinect的手语教学系统设计研究[D]. 上海：华东师范大学，2014.

[8] 陈翠. 神经性统整训练对学习困难儿童之干预研究[D]. 苏州：苏州大学，2012.

[9] MCFARLANE A， SPARROWHAWK A， HEALD Y. Report on the educational use of games， teachers evaluating educational multimedia[EB/OL]. http：//teemeducation.org.uk/.

[10] KANDROUDI M，BRATITSIS T. Exploring the educational perspectives of XBOX kinect based video games[C]. Proceedings of ECGBL， 2012：219-227.

[11] 哈嘍科技. HEYHA安全课课堂版[EB/OL]. http：//www.heyha.com/html/product/pm1/as1/23.html.

[12] 哈喽科技. HEYHA安全课家庭版[EB/OL]. http：//www.heyha.com/html/product/pm2/am1/29.html.

[13] ZIEGLER J. Interactive techniques[J]. ACM Computing Surveys，1996，28（1）：185-187.

[14] 新节奏智能科技公司. 新节奏智能科技[EB/OL]. http：//www.newtempo.com/edusystem.jsp.

[15] 中国科学网. 健康学习“动”起来 ：直击新节奏的“体感教育”[EB/OL]. http：//science.china.com.cn/2016-08/26/content_8991013.htm.

[16] 睿云新数字公司. 睿云新数字[EB/OL]. http：//www.newryun.com/.

[17] 何克抗. 新技术在教育中应用的重要趋势：利用交互界面与交互空间支持学习——对美国《教育传播与技术研究手册》（第四版）的学习与思考之五[J]. 开放教育研究， 2017，23（4）：30-39.

[18] 缅因州教育部公开课. 游戏与学习-教育性游戏简介[EB/OL]. http：//open.163.com/movie/2009/8/7/5/M88JJ461P_M88JJUK75.html.

（责任编辑：江 艳）