基于可穿戴人休感知的教学休验系统设计

姜丽萍 李小平 张琳 陈建珍 董银银

摘要：该文在人体机理感知信息科学理论和交互技术成果分析的基础上，对人体感知与环境感知问题、人体机理感知信息获取问题、感知觉与记忆的关系问题、人机交互感知与输入机理问题、5G环境下VR人机信息获取问题、虚拟学习环境设计等问题进行了系统性研究，并针对虚拟现实教学设计中缺乏客观感知回馈设计和无法有效获取控制变量的弱点，提出了基于人体机理感知的虚拟现实可控学习体验环境的设计思想，设计了可穿戴学习体验系统设计模型。并通过《英语视听说》进行探索，尝试了人体感知环境下沉浸式体验课程设计，部分实现了虚拟教学体验空间的控制设计。

关键词：第五代移动通信技术;人体感知;虚拟现实;穿戴系统

中图分类号：G434

文献标识码：A

一、引言

随着技术的发展与进步，人们的学习需要寻求一个更加有效的、真实的、更加自然态的学习环境，追求获取知识的真实感和自然态，这种真实感和自然态主要来源于人们对知识的感知和获取技术的实现。而知识的感知是一个认定的知识进行自然态转化的过程，如仿真学习、虚拟现实化学习、游戏化学习等，这些学习环境具有返璞归真的意境，同时在原始学习并维持知识保真度的基础上，对知识的获取过程、理解过程进行科学的有效性设计，在媒体技术和人机技术可允许的范围内，实现感知的自然获取，这其中包括：听觉、视觉、触觉的获取和计算，情感计算与分析[1]。

在第五代通信个体及群体多连接、多传感器信息的获取环境的基礎上，笔者试图找到知识获取的多通道的设计方法，以逼近真实的理解感知过程，构造以教学为目标的仿真环境，让环境中的知识获取元素和体验过程向知识“熵”逼近。让学习者在完成向自我建构的过程中体验知识“熵”逼近的过程。如何完成逼近过程的关键就是要研究VR学习空间每—个分目标是否都能与体验者人体体验效果相一致，是否符合人性化的设计，换句话说，体验者对内涵知识VR学习空间的体验效果决定于体验者感知的舒服和享受程度，如果感知越舒服证明这个部分空间设计和元素设计就越成功，反之亦然。从研究中我们发现人体感知与VR学习空间设计是密切相关的，从体验上它们是一一对应的（如图1所示）。

要想获得在VR体验过程中最佳的知识获取方法，最直接、最有效的方法就是以人体对知识元素和知识表达环境的感知为研究重点，即通过获取测量人体生理信号，实时计算用户心理状态，提取并计算生理信号的相应特征，推测用户在VR体验的心理状态，判断人对当前的知识元素的感知，找到在VR环境中知识传递和获取的最佳设计，而人体感知效应与环境感知问题研究将成为本问题研究的基础。

二、人体感知效应与环境感知问题的研究

（一）人体感知与环境感知的关系

人体感知即人的意识对内外界信息的觉察、感觉、注意、知觉的一系列过程，分为感觉过程和知觉过程。感觉过程中被感觉的信息包括有机体内部的生理状态、心理活动，也包含外部环境的存在以及存在关系信息。感觉不仅接受信息，也受到心理作用影响。知觉过程中对感觉信息进行有组织的处理，对事物存在形式进行理解认识。环境感知是文化地理学借心理学新的研究或成果来分析人地关系的。人与自然环境关系中的各种可能性进行选择时不是任意的、随机的和毫无规律的，而是有一定的客观规律可寻的。它受一种思想意识的支配，这种思想意识就是环境感知。每个人总是生活在一定的环境中，由于受其环境及文化的影响，在人们头脑中必然形成一种印象，这种由环境影响而形成的印象，就称之为环境感知。因此，要对知识获取的各种方法进行科学过程的研究，就要掌握人们在这些环境下获取内容的手段和对知识反应的感知度。想了解人们对知识的感知，就必须了解人们在碰到外界环境条件刺激到产生记忆意识转化的过程。这个过程大致如下，人体在周边环境刺激下，将会在人体内部产生相应的感知现象，同时引起人体外在相应的情绪变化;根据刺激所带来的变化程度，大脑将产生不同程度的记忆、意识状态（如图2所示），进而形成了外界刺激到记忆的转换。

VR教学空间体验是一种瞬间的感觉，也是一系列感知过程的综合，触摸和视觉在感知过程中起到重要的主导、直接、刺激的作用;不同的视觉强度会产生不同程度的感知效应嘲，不同的触摸强度会产生不同程度的刺激神经的感知效应。体验者对知识的认知和理解与体验者当时所获得的磁场位置和磁场强度有关，与体验者即时心理状态和外界的刺激状态有关，与此体验者对这方面知识的陌生程度有关;但以上这些不定性因素我们无法辨别或同步获取，对研究教学问题也是意义不大的，而真正有意义的是要同步获取在外界环境的刺激条件下视听触觉表象信息和人体感知效应信息。

同步确认感知效应的真实性和准确性。这个感知获取过程是一种在生理机理基础上建立起来的形态感知过程[3];这个过程可能映射的是特定环境因素，而这个特定环境可能又映射的是人的情绪积累因素，也可能映射的是当下环境磁场的作用，也可能是人们在对某种知识状态和知识领域的理解的基础上产生的感觉和体会;而这种生理机理所获得的反应是客观的、有效的、自然的和真实的，是人们在复杂综合环境下获取知识时的真实生理反应。

（二）人体感知的信息获取

人体感知的信息主要包括：脑电、心电、皮肤电、皮肤温度、呼吸、眼电和肌电等[4]。

1.脑电信号：从生物物理角度来看，脑电信号与人的记忆、知觉情绪、语言、行为等认知过程具有一定的关系，当大脑处于深度睡眠和无意识状态时，主要产生δ波;当处于深度、放松无压力、潜意识状态时主要产生θ波;α波通常对应于身体放松，思维活跃的状态;β波，通常产生于紧张、充满压力的状态;当人注意力高度集中紧张时，会产生频率更高的γ波。

2.心电信号：可显示人心理状态的变化，在时域上主要检测心率和心率变异性，计算其均值和标准差。

3.皮肤电信号：用来衡量皮肤和阻抗的。当人感到压力，觉得紧张时会流汗，导致皮肤电发生变化。也就是说，皮肤电可以反映一个人的心理状态。

4.皮肤温度：通过测量皮肤温度来检测人的心理状态是放松，还是较为紧张。

5.呼吸：与人的心理状况关系密切，当人处于较为放松的时候，呼吸会较为缓慢，当人的心理状态比较紧张的时候，呼吸会处于不平稳状态。

6.眼电信号：眨眼的频率与学习体验时的紧张和焦虑的状态有关，当人处于高负荷疲惫状态时，眨眼的时间会变短，频率下降。人眨眼时，眼部肌肉会放出一个电信号。

7.肌电信号：人在学习和体验时会产生不同的心理状态，在愉快时微笑，忧郁时皱眉，受到惊吓时打哆嗦，此时面部和颈部相应部位的肌肉收缩，导致肌肉表面的电压发生变化，即可检测到肌电信号的波动。

目前人体感知信息获取均可以通过时域或者频域信号获取技术来完成[5]，以上生理信号的分析、采样、计算对于工业是一个较为成熟的技术，从技术实现的角度上分析，将其技术应用在VR教学体验可嵌入学习体验穿戴系统设计上，是完全可行的。

人体机理感知的信息是交互行为的物质基础，是心理状态最直接的体现;在交互感知上，我们可以通过VR穿戴系统完成人际交互，实现更加自然的、协调的、相容的、适用的交互形态和生理感知信息的获取方法;可以通过生理感知信息获取用户在VR环境下与知识元素交互的行为意图，获取在VR体验过程中的心理变化，评测用户认知状态，以及交互自然性的客观评价指标。

三、人机交互感知与输入机理的研究

（一）感知觉与记忆的关系

人机交互情景是通过影响人的心理状态来影响人的整个信息加工过程和人的交互行为的，交互行为当中感觉器官感受到的信息会被短暂地存储，会有一小部分信息被进一步加工，视觉感觉图像记忆保持容量为7-17个字母之间，保持的时间为200毫秒;听觉感觉记忆保持容量为4.4-6.2个字母之间，保持的时间为1500毫秒，如果不及时加工就会被很快遗忘。

知觉是对感觉信息的组织识别和理解，只有通过注意筛选，信息才能从感觉进入到知觉阶段[6]。人的记忆是经过感知觉加工后的信息，如果人有意将这些内容记住，就会将其转移到长期记忆中，人们需要这些内容的时候，就从长期记忆中进行检索，并将其转移到短期记忆进行处理。人在长期记忆里存储信息和知识时，新的内容和已有的内容联系到一起，规模不断增大，这就是长期记忆的特点，其人脑记忆模型如图3所示。以上这些视觉听觉感知指标为我们VR教学空间设计和记忆空间设计提供了设计依据，反过来也可以从感知记忆效果反馈评价证明VR空间相应的设计是否成功。

在VR空间设计和元素设计当中，要有意地增加感知认知过程的自然度，保持人體最为习惯的知识感知获取方式，把握好获取的最佳时间，对重点现象和最富有特征的知识现象进行描述，达到人机现象、感知反馈的自然，达到展示个体状态和规律的自然，构造出适合不同人的体验空间[7]。

VR体验设计的主要目的是在短时记忆和原有知识加工的基础上实现长期记忆;而虚拟现实环境下的刺激、VR元素的交互以及交互时的触觉等短时记忆为VR教学长期记忆奠定了基础。在VR体验过程中，人们通过元素瞬时听觉、触觉和视觉等感知信息的捕捉完成内容的记忆，而这些瞬间感知、短期记忆和长期记忆的有效性和正确性，将对知识内容体验效果正确评测起重要作用。有关瞬间感知、短期记忆和长期记忆的关系如图4所示。

（二）人体感知信息获取与虚拟输入

为了高效的VR信息获取，就应该在人体感知的特性上进行研究，让信息接收部件、显示设计、触摸感知设计、音频视频设计符合人体生理机理规律，实现对内容元素知识关联的设计，为瞬时记忆、短时记忆向长时记忆的“精准”转化创造条件。

如果VR教学体验空间人机输入方式和界面设计得好，在VR学习空间中减轻多余的操作，提供加强记忆的元素，就能够帮助用户对信息进行快速的结构化加工，缩短用户的学习时间，减少交互时的心理负荷，减轻体验者的记忆负荷，加强长时间记忆的效果，在无意识记忆的基础上完成体验者对知识的自我个性化建构[8]。

VR教学体验空间的输入方式主要体现在虚拟空间进行虚拟指向、眼神定位、虚拟空间键盘、语义输入、人体传感信息、图像传感信息、触摸压力传感信息等获取，信息获取的手段和设置与教学体验反馈有关，与体验效果评测有关。VR教学体验输入以自然的、不经意的信息获取为主，以故事叙事转折方式为主线，以解决问题为目标进行设计，其输入方式充满着非准确位置性、联想性、无意识性、友好性、自然性、宽泛性、环境融合性，以及界面与故事引发性和随机输入性。目前出现了许多这样的VR/AR交互系统，其中包括：语音输入、手势控制输入、眼动输入、脑电输入等;并推出了相应的AR眼镜，如Leap Motion等设备;还有头动输入、空中打字、单位手势输入等。其中眼动交互就是通过捕捉眼球的运动来计算出视点，并配合眨眼动作来实现眼动交互，实现对设备的操控。以上这些人体感知信息获取设备的实现为VR/AR交互输入奠定了输入心理模型基础。

人体感知机理的信息获取必须建立在人可接受的、无任何干扰和命令前提下、无任何行为障碍和干扰思维的环境基础上，必须具备多性能、高密集型的设备集成，应具有包括VR知识手套、隐形眼镜、心电传感器、肌电传感器、温度传感器等设备的集合，并在此基础上形成可穿戴学习体验系统。

四、可穿戴学习体验系统模型设计

（一）设计准则

VR教学体验是为学习者获取知识、体验知识、自我建构知识体系服务，突出体验个性化服务。所以VR教学体验系统模型设计的宗旨是以学习者的需求和感受、以逼近知识熵的最大程度为指标进行设计，以VR环境、体验空间等系列设计元素为控制对象，以人体感知作为修正控制量进行闭环式控制模型的设计，形成可穿戴学习体验系统。

这种可穿戴学习体验系统在获得人体生理机理和行为动作信息的过程中，形成系列的感知获取过程，为VR教学空间与体验者之间的平衡和综合评价提供了必要的技术支撑，是实践、探索、效仿、环境自适应、方法的探索、知识的灵活应用、多种途径解决问题的试探，是对体验者心理素质、技术素质、知识水准、抗压能力、创新力、辨识力、解决问题能力等的测试，是设计适应体验者逐级挑战问题空间的探索，是逐渐引导体验者向优秀解决途径方面逼近的过程[9]。

虚拟现实的体验性学习是以第一视点、第一人称进行的，是对现象的观察、操作的感知、环境的联想、记忆的触发、冲突中的认识、搏击当中的意识、多种感知综合下的知识环境渲染和领悟。VR化学习体验空间既需要心流理论指导下的沉浸体验设计，又需要人体感知下的测试反馈自适应设计，需要在人体正确的感受下，正常的生理状态和心理状态达到最优的条件下，在VR的自我建构设计原则基础上完成体验。要达到最好的体验效果，设计当中就需要有明确的、“精准的”感知元素，有可产生短时记忆的视听触感知，有能转为长时记忆的联想空间、背景元素和音乐配音等“精准”元素，要有能让其产生能力输出和创造力的知识运用元素;同时要给出虚拟环境下的人体的承受力的评价，技能能力的评价、心理承受能力的评价、对环境恐惧度的评价、对问题敏感度的评价、对所设元素反应的评价、对对抗元素心理的评价、对过程进程紧张性的评价、对空间友好性和兴趣度等“精准”评价，以此来实现捕捉真实的、 “精准的”感知效果[10]。

感知获得的效果和质量将决定VR体验设计的效果和质量、VR问题认知的效果和个性化设计的效果。我们要在虚拟空间行动感知中不断地测试人机环境、人机因素，不断地精准调整VR环境对人的适应度，让VR体验空间与体验者形成闭环控制的回路，达到精准控制的VR体验学习过程，达到有依据性的个性化体验控制调整。

（二）可穿戴VR教学体验系统控制因素的设计

VR教学体验设计的控制目标是围绕着体验者对周边元素的感知进行控制和调整，以此来达到知识接受程度和自我建构程度最佳化的目的;那么在设计中具体如何控制，控制什么，根据什么依据进行控制成为了系统设计的核心，下面我们就可穿戴VR教学体验系统模型设计中主要涉及到的控制元素设计展开研究。

1.周边环境的控制元素设计

在VR可穿戴学习体验系统设计中，认知状态对交互过程有着一定的关联作用，人体机理感知信息的大规模获取与在线VR过程信息的同步采集比对、关联分析，将为VR学习体验提供较为完整的控制闭环系统。我们要在反馈、分析当中找到交互行为过程中行为与生理结构的适合度，提高接口界面与心理模型协调相容性，提升积极情绪的体验，减少体验当中的工作负荷，提升注意水平认知状态。情绪状态的变化是VR体验中多个生理信号维度的体现（女口图5所示）。情绪状态变化的测量是一种多模态的生理测量，可为人机交互体验提供更加精细的评价指标[11]，以及工作负荷和注意水平的测量指标;我们将在可穿戴學习体验系统人体感知信号获取中关注情景中特定事件中的生理响应，找出情绪引发的原因，也就是我们所要找的引发控制的因素对象，我们目的就是对因素对象进行自适应的优化、升级。

2.体验沉浸控制元素设计

体验沉浸控制元素设计是VR体验学习中最重要的一个环节，即通过人体感知给出每一个体验者适应的体验程度和体验级别，根据人体感知信号捕捉的人体特征，结合人体感知与沉浸式体验的关系[12]进行体验级别的定位，为VR智能型自适应控制提供了判别条件，同时作为闭环体验控制分量对VR级别进行调整和控制。有关人体感知与沉浸式体验的控制元素对应关系如图6所示。

（三）可穿戴学习体验闭环可反馈控制系统模型

可穿戴学习体验系统本质上是一个闭环可反馈的控制系统，是一个可调节的VR学习体验空间自适应、个性化建模系统，是具有人工智能、5G环境技术特征和生理特征的系统，体现了强烈的输入感知和输出感知，吸收了空间描述形态的外界因素，融合了情景化、故事编导化的人类自然态的落地描述，给出了挑战与技能的体验沉浸控制模块，提供了以知识和问题为核心的、综合的人体机理感知效应的学习体验客观评价，采用了控制系统的回馈多通道的调节与建议，学习体验科学化构架，为体验者自我知识建构，为设计中信息“熵”的优化逼近，提供了良好的设计模型[13][14];笔者在《大学英语视听说》设计、《汽车发动机》VR化教学课程、《汽车变速箱》VR化教学课程等设计和实现的基础上，提出了可穿戴学习体验闭环可反馈控制系统模型（如图7所示）。

五、人体感知环境下沉浸式体验课程设计实践

（一）设计内容

本团队开发了《大学英语视听说》VR化教学课程的设计，以人体感知环境下的沉浸式体验为设计理念，进行英语教学与VR体验融合性问题的研究，将视听说英语教学形态融入到VR化体验交流的形态当中，通过体验行为的人体感知提升整体环境和元素的有效性，将英语语言知识完美地融合于跨文化交际中，突出生动、活泼、感知、刺激的视觉特性，通过对各种情景下语言和交际知识的理解、运用，使体验者在提高英语运用能力的同时掌握跨文化的基本知识和技能、熟悉不同的文化环境并通晓交际规范。在VR设计中，以自我设计行为为主导，引用了大量的VR化设计元素，其中包括：享受（乐趣、享乐和放松）、心流（集中、吸人）、想象沉浸（故事、同理心）、感官沉浸（在场感）、悬念（挑战、紧张和压力）、负面情绪（失望和挫败感）、控制（自主、力量）、社会存在感（与他人的联结、同理心）、以及胜任力（骄傲、精神欢快）等[15]元素，利用VR沉浸式体验手法，来达到自我提升英语视听说能力的目的。

此次人体感知环境下沉浸式体验课程设计尝试，实现了自主探究式智能性虚拟语境空间设计、英语配音体验空间设计、VR化情景漫游导航、VR化漫游双语体验空间设计、VR化叙事空间设计等体验设计，将网络漫游、虚拟人物智能对话、影视配音、网上出国实践、视频填空组合、故事讲解、虚实教学单元等进行组合，体现英语体验空间的独有特性，在语言体验的基础上尝试了游戏化形态与语言形态的融合，体现出探索式学习的应用框架。

在控制设计方面提炼出了游戏化英语体验的控制因素和成分[16]，即：技巧/技能、挑战、情绪、控制/自由度、专注/集中、实体呈现、参与感/好奇度、故事/戏剧性、社交属性、互动/可操控性等。并尝试人体感应测试和自适应VR沉浸式级别的调整，并实现部分功能。