论音频在虚拟现实设计中的应用

□潘尚仕 上海工艺美术职业学院

关键字：音频；虚拟现实；VR

近年来，虚拟现实技术快速发展，大量VR视频、游戏以及交互应用涌现在用户面前。这些作品大多在视觉显示效果上达到“三维场景再现、身临其境”的感觉，给用户带来了强烈的沉浸感体验。虽然高清显示技术、强大的显卡运算能力配合日趋成熟的视觉效果显示为用户带来了真切的沉浸感体验，但是无论在全景声音音频录制设备的研发上，还是在相应技术和设计研究上，在虚拟现实作品中的音频设计往往没有得到相应的重视。这大大影响了整个作品的逼真度和沉浸感。“星战之父”乔治·卢卡斯在2011年MPSE“金卷轴”颁奖礼上曾说过：“电影的一半体验由音效组成。”以经典恐怖片《闪灵》为例，如没有电影中搭配的适时音效，那么这部电影中的恐怖和紧张氛围就会大大减弱。相比于音频设计，目前虚拟现实更注重沉浸式视觉内容的设计和开发，但如果忽略了音频在虚拟世界中的重要作用，用户的临场体验和交互体验将大打折扣，甚至会感觉到突兀和不适感[1]。

一、虚拟现实中音频的特征及应用

研究和体验那些在视觉内容和音频设计上均非常出色的虚拟现实作品后，笔者发现音频不仅是视觉画面的附属品，除了配合场景和动画以外，更是建立和加强用户互动指引、传达作品的深度和情感的重要元素。

（一）增强虚拟现实空间的真实感和沉浸感

多感知性是虚拟现实中非常重要的概念，它指除了人的视觉感知外，还包括听觉、触觉、嗅觉、味觉以及运动的感知等，是人类感知这个世界的全部形式。视觉是人类最重要的感知来源，也是最复杂的感知方式，外在世界75～80%的信息都是人类通过视觉感知的，其他的听觉、嗅觉、触觉等感知方式帮助人类获取了外在世界20～25%的信息，从而使人类感知到真实丰富的外在世界。音效设计师兼听力学医生Laura Sinnott曾说，听觉是人类在子宫中第一个产生的感官，它对于人类的存在起到根本作用。听觉不仅仅是交流的媒介，也是人类情绪健康、认知，甚至生存的关键。当用户置身于一个虚拟现实营造的3D空间中，就算闭上眼睛，也能通过环境声音来大概判断自己身处的环境。在虚拟现实营造的3D空间中，如何再现现实世界对用户的多感知性是创造沉浸感、真实感的关键所在，在目前技术条件下，除了视觉内容外，听觉是最重要的可依赖因素。

环境声音，即声场是三维存在的，如在剧院聆听一场古典交响音乐时，在不同的位置上的听觉感受是不同的，因为音乐会中各种乐器演奏所发出来的声音在空间介质中的传递受到距离、角度以及墙壁的反射等因素影响，到达观众耳中时会产生微妙的差异感。传统的5.1音箱，乃至7.1音箱，都是通过位置的摆放和响度的控制来模拟声场空间，从而达到立体环境声场的目的。虚拟现实中的音频特点在于声音可以做到即时渲染，在空间定位上也能做实时运算，并把声源置于正确的位置。当然也能在传播介质的衰减、反射和折射做到实时运算，这样就与人耳能够感知声音强弱方向的特性相结合。人的耳朵之所以能够判断声音的方向定位，是通过左右耳定位实现的，左右定位主要通过时间差定位和声源的强弱差来实现的。时间差定位通过同一个声音到达左右耳的先后顺序来判断声音在身体的左边还是右边，而声源的强弱差则通过左右边的声音大小来判断声源靠近身体的左侧还是右侧。

在虚拟现实的三维空间里，当用户在移动位置或者转动头部时，实际上相对于音源来说，用户的头部位置和双耳的方向都发生了变化，在现实空间中的经验和声音理论告诉我们，听到声音的位置和强弱都应产生对应变化，但按照传统固定音频的设计方式就无法回应用户的变化，导致现实经验与虚拟空间感受的不一致，使用户产生割裂感，大大降低了沉浸感体验[2]。目前的VR设备可以通过激光定位、陀螺仪等感应器进行头部追踪，可以将这些头部追踪的数据应用于VR音频中，结合头部追踪数据和HRTF[]算法，就能实现音频对头部动作的实时反馈。也就是说，当用户在转头或者移动头部时，听到的音频会根据用户头部的方位相对变化，做出符合现实的情况反馈，再结合虚拟现实视觉内容就会大大增强用户的沉浸感和真实感。目前很多高科技公司都在研发实时动态声音渲染技术，让虚拟现实中的声音与画面更为同步，当用户不断移动时，能够听到回声的变化，感受到空间感，除了能够判断声音由该物体发出外，还能判断出物体的方向、远近等更多信息。如图1，是AMD公司研发TrueAudio Next的实时动态声音渲染技术的示意图。

图1 AMD公司TrueAudio Next实时动态声音渲染技术示意图

（二）构建独特的交互性来指引用户

虚拟现实中的音频主要可以分为四种不同的元素：音效、音乐、环境声音和对话。音效主要用于模拟现实物理世界的各种声音效果，如金属和金属碰撞发出的清脆声、风吹过草地的沙沙声等。音乐是艺术创作中烘托氛围、传递创造者意图的主要元素，环境声是模拟现实环境中来自四面八方的声音，帮助用户对周遭环境产生直接、准确的判断。对话是讲故事和传递语言信息的最主要手段。通常，虚拟现实中的音频需要将这四种不同的音频元素进行混合使用，从而达到触发用户感官、指引用户互动探索的目的。

在虚拟现实中指引用户进行互动体验的指引方式主要是通过图形视觉元素，如用户视线焦点所注视的图形界面进行闪烁或放大的动效运动，指引用户点击该图形元素。虚拟现实中的视听体验是一种大量信息的选择性摄入，用户进入虚拟现实的空间中可以自由选择方向，这会让创作者失去对用户预设的控制能力，用户可能只是看到一些无关紧要的画面，而对创作和预设好的推动剧情的线索一无所知。这时，音频就会发挥无可替代的作用，音频与视频不同，不会被视角所限制，即使画面一片漆黑，用户也可以通过听觉来感受所处的环境、音源所在的方向和位置。这样创作者就可以通过声音将用户的视角引导到他们需要关注的画面和视角中去，从而让整个交互体验流程能够顺利进行。声音的方向特性可以产生空间暗示，这比生硬地插入视觉图形暗示要自然很多，如在虚拟现实场景中，用户的视角一直看着远处的天空（天空只是作为环境背景存在），该怎样让用户的视角回到故事的主线（即用户周遭的环境）中？如果用视觉动效的方法，设计者可能会设计一个出现在天空中的箭头，指向用户视线该聚焦的方向，但无论是箭头，还是小鸟等物品，都是与画面无关的生硬的提示方法，显得非常不自然。而采用音频的方法则非常简单自然，只需要判断用户的视角方位不在预设方向后，在特定位置上发出一个不同于环境声音的声音，从而吸引用户将视角转回到剧情角色所在的画面中，从而确保整个虚拟体验顺利进行。

（三）传达作品的可信度和情感

如电影或视频游戏一样，声音在虚拟现实中的重要性往往容易被忽视，用户通常不会意识到音频的重要性，直到他们体验到具有优秀音频的内容。视觉元素能够讲述故事情节，但声音在虚拟现实中同样重要，因为它肯定了体验是否可信，并且会对用户产生情感影响。在传统的影视作品中，通过声音效果和可听到的环境因素，如风和街道噪音，能够增强叙事的可信度，通过不同关键点的音乐播放能产生情感的影响力。在虚拟现实世界中也是如此，只是在技术上比以往要求更高。

音频为体验设定了情感基调。交互式音乐是影响玩家情绪状态的最佳方法之一。通常的做法是创作者将音乐设计成不同的情感强度，然后按顺序放置在场景中以供玩家触发来传达不同强度的情感，从而影响和感染用户的情绪。《The Price of Freedom》是一款备受欢迎的免费VR游戏，开发商Construct Studio的音频总监谈到，如果没有合适的音频设计，叙事体验将失去其魅力，而世界也不会那么令人信服。该游戏在设计火灾场景中就设计了4种不同层次的情感强度的对应音乐，希望让玩家在体验过程中逐渐感受到从麻木到悲伤的情感，从而引起用户的强烈情感共鸣。如图2，是该游戏的截图。

图2 《The Price of Freedom》VR游戏截图

二、虚拟现实中音频设计的未来

虚拟现实，即通过VR头显和包裹式耳机阻断人类对真实外界的感官，以虚拟内容取而代之。在所有虚拟内容设计中，音频起到了重要作用，不恰当的音频设计体验会破坏虚拟现实其他内容带给用户的沉浸感，导致用户从虚拟现实的世界中抽离出来[3]。而精妙编排过的音频设计不仅会让用户加强这种沉浸感，而且能够引导用户的注意力，调动用户的情绪。试想，当用户置身于虚拟现实环境中，互动操作周遭环境对象时，音频能够根据不同的材质、运动规矩距离、碰撞的强弱程度，做实时运算，并发出与现实物理世界经验相同的声音，这将是一个何其逼真的虚拟世界。如何实时计算复杂场景中的各种音频的混合是虚拟现实未来音频设计的最大挑战。

结 语

没有人知道虚拟现实技术将如何发展，它将采取何种方向或将取代目前的媒体角色。目前在视频游戏、教育、军事、新闻和体育报道、叙事电影、音乐视频等方面已经开展了VR方面的开发和商业化运作。随着虚拟现实技术的发展，也对音频的制作技术和设计提出了更高的挑战和要求，刺激着新一轮创新研究。让我们拭目以待音频设计在未来的虚拟现实空间中的惊人表现。