VR叙事：从声音开始的革命

沈皛

摘要：在当下VR影视中，新的视听语言体系亟待建构。本文一反相关领域研究者从视觉研究出发的惯例，尝试从声音的角度破解VR叙事中的引导性、叙述性问题，并以声音为主，重构VR叙事的视听语言体系。

关键词：VR;声音;叙事;视听语言

一  “度”的概念

随着科技的进步，影视行业面临一次重要、全新、彻底的革命。在2D电影中，物体处于同一平面，3D的出现增加了这一层平面空间的厚度，也就是后期技術中所说的“层”与“流”的概念。而VR技术的出现，使得作品中的事物与观影者之间，出现了层级关系之外另一重要关系：“度”的关系。苏珊·朗格曾说过：“所有的艺术欣赏——绘画、建筑、舞蹈，不管哪种艺术都要求一定的超然态度，显然，这就是所谓的‘凝神观照‘审美态度，或欣赏者的‘客观性。”①但是360度摄影，让受众从被动观看变为了主动观看，观赏者凝神观照的客观性变为了体验者（沉浸者）感同身受的主观性。如果抛开一些刻意将剧情局限于引导性结局的作品，在未来大数据、云计算的支撑下，开放式剧情势必将成为VR作品的主流。一千个读者眼中将真实出现一千个不同结局的哈姆雷特。在VR创作视阈下，受众第一次将观看的角度握在自己手上。而这个“度”，才是真正推动剧情发展的关键因素。

在传统影视中，这一重“度”的选择，原本掌握在影片创作者手中。无论是前期摄影的景别选择，还是后期剪辑的镜头选择，受众观看故事的角度，都是由创作者制定的。“度”的选择权，不仅关乎画面的美感，更重要的是其潜藏着剧情的叙述能力。在传统影视创作者话语体系中，“度”的选择本身就包含在创作者设定的剧情中。每一组画面的选择，都是创作者精心安排的叙事角度。这使得“度”的概念在受众观看之前，已经停留在了创作者手中。但是，VR的世界中，“度”的概念被开放，创作者无权决定受众观看的角度，同时也丧失了推动剧情最有力的手段。在360度摄影的VR影视中，“度”这一概念的出现，让蒙太奇叙事成为了一个地地道道的伪命题，相关文章甚至出现了“VR是反蒙太奇手法”的论述。这让很多导演对其视听语言产生了强烈的困惑。其实，这就像有人说人工智能是人类思维的提升一样，表面上看来两者似乎很类似，但就本质而言，这两者根本就不是一类事物。VR这一种新兴创作手法应该有其独特的创作体系，在这个体系中，虽然一部分内容可以借鉴前者，例如电视艺术能借鉴舞台艺术，但是这一部分的借鉴往往是非主干部分，否则这一创作手法的创新合法性便会受到质疑。我们如果承认VR影视是一门新的创作领域，那么就要抛开陈见，为其重新设立一个创作的坐标轴。其实这是一个升维的问题。原本处于二维平面空间（即便是3D电影其实也是在二维平面的荧幕上产生的）的影视作品，一下提升了维度，借用观众这一审美主体本身，来到了真正的三维空间。这一观点十分重要，因为在当下绝大多数VR创作者眼中，无论视角怎么变化，“度”怎么变化，VR的创作空间仍然是双眼面前那一块屏幕上的内容， 殊不知屏幕上的内容已经和观众所处的自然空间合二为一。一些二维空间里约定俗成的规定，到了三维空间里一下被“降维”打破。但同时一些二维空间里无法解决的问题，在三维空间里却能轻易“升维”突破。因此，VR该以何种全新规则叙事，成为了下一代创作者亟待解决的问题。

二  视觉与听觉

我们先来做一个比较。在2D与3D（我们统称这两者为传统影视）影视中，导演主导的视觉叙事占据绝对主导，声音往往成为了视觉的辅助。在笔者曾经的创作经历中，有的创作者对声音的要求甚至只是“有声就行了”“音量要大”。出现这种现象并不奇怪，因为对于大多数传统影视作品，其终端放映设备是电视或手机，而这两者的声音播放设备，大多数都是单声道。从声学角度讲，声音的三个重要指标是频率、相位、增益。通俗讲，频率负责声音的音色，增益负责声音的大小，相位负责声源的定位。从受众听感的角度讲，音色、音量、定位，三者的关系是从感性到理性的渐变。音色是感性的，而定位是理性的。传统影视的放映设备中，听音设备绝大多数都是简单的单声道。从根本上讲，负责声音定位功能的相位已经消失。即便是立体声，也只能满足以屏幕为中心的120度范围内的声像定位。这一范围恰巧与视觉效果的引导范围相重叠。从某种意义上来讲，传统影视中声音的引导作用之所以显得不重要，并非其功能性不强，而是其单独叙事的效果完全被视觉引导覆盖。

同时，比起精良的视觉拍摄、播放设备，当下大多数录音、回放设备较为简陋。在视觉进入4K、8K的背景下，声音采录设备有时连较明显的声音频率差异都不能产生。于是，在受众耳中，衡量声音的指标只有增益一项，也就是通俗讲的“音量的大小”。在这种技术背景下，创作者的眼里，声音的作用只是感性的“音乐+音效”，其功能在于抒情，或是增强故事中某一环节的感情力度，是依附于故事主干的“锦上添花”。因为传统影视中镜头的景别已经固定，声音所能实现的只是跟随镜头景别调整。偶尔出现的声音叙事其实更准确来讲是音乐叙事。一般而言，故事的叙述是通过逻辑的环环相扣，也就是通过理性的推演逐步推进的。当声音的作用只剩下感性的抒情功能时，自然无法实现理性的叙事作用。

其实，VR的概念是Virtual Reality，即虚拟真实。虚拟真实中本身是包括了视觉的虚拟真实与听觉的虚拟真实两个概念的。当下VR影视中，虽然终端观影设备变更，但传统影视的创作者仍然惯性地执着于以视觉叙事作为主导，希冀在视觉语言中寻找到故事剧情的推动力。但是，交出“度”选择权的创作者们发现这种尝试是徒劳的。在惯性驱使下，创作者仍旧在视觉领域不断摸索。最难解决的问题就是不同场景之间的转场问题，如何从一个场景进入下一个场景。我们可以试想，在现实生活中，如果一个屋子里有三个房间，一个人待在第一个房间里，如何吸引他来到第二个房间？如果用视觉来解决这一问题，只有两种办法，第一是作引导标记，第二是用视点聚焦。但是如果用这两种办法，绝大多数情况下都不符合待在屋子里那个人的真实感受。现实生活中的真实感受应该是：这个人听见有人在呼唤，于是便走出了第一间屋子，循着声音来到了第二间屋子。

声音叙事的一贯缺位，让创作者不习惯从这一角度另辟门径，进行思索。在传统影视中，通过剪辑和特效，导演用镜头的视觉固化完成了作品的叙事。而环绕声技术让声音从感性转为理性的功能性固化同样有了可能。在视觉虚拟技术未成熟时，单纯的环绕声技术如默片时代的摄影技术一样，是只有场景的描述而缺乏叙事的感情。在传统影视时代，无论环绕声技术多么成熟，也只能是早熟。除了还原音乐会现场，创作者很难在视觉缺位的情况下叙述整个故事。仅靠听觉完成的叙事作品条件十分苛刻，例如森海塞尔公司当年创作了一个环繞声声音作品，大致内容是一个理发师从远处走到听者身边，让听者闭上眼睛，然后拿起电动理发刀为听者理发，最后和理发者交流两句后离开。在这一场景中，理发师让听众闭眼成为了这一声音叙事的关键。但生活中的绝大多数场景并不可能是在人闭眼状态下发生的。环绕声技术虽然已经实现了声音的定位、定向功能，但是由于没有视觉的配合，人耳对声音大致定位后，并不能凭空想象接下来将要展开的具体剧情细节。可以说，环绕声技术还没有绽放出应有的光芒时，在传统影视局限的环境中已经日渐枯萎。从最初的5.1环绕声，到7.1环绕声、15.2环绕声，环绕声一直在纯粹技术的提升上打转，陷入空洞的技术陷阱。

因此，其实相较于虚拟视觉技术，无法被“看”见的环绕声技术其实早已走在了虚拟视觉的前面，提前进入了虚拟现实。随着如今视觉虚拟技术的不断发展，两者终于可以齐头并进。以环绕声技术为主，完成叙事的推动，势必将成为创作者手中的革命性的新视听语言。

三  放大与聚焦

VR影视与传统影视的一个重要不同，就是观众所处视角。在传统影视中，观众大多处于第三人称视角，而在VR影视中，观众处于第一人称视角。第三人称视角不需要考虑仿生学，但第一人称则必须从仿生学角度考虑观众的沉浸式体验。第一人称能让创作者直观实现以往只能意会的“感受”，因此第一人称的创作是一场身心同步的仿真竞赛。

从生理角度讲，传统影视中的摄影机其实并非仿生学设计。观众在观看一个物体时，无论多么聚精会神，也无法像摄影机镜头一样将物体放大，更不能随意变焦、聚焦。因此，传统影视中所展现的特写，其实都是创作者为观众特意“勾画”的重点。在虚拟视觉领域，观众被还原到尽可能接近现实生活的仿真状态。没有了创作者“勾画”的重点，人的双眼在仿真状态中无法改变“焦距”，也无法改变“景别”。故事的主线由不同的情节点组成。在失去辅助“勾画”重点的情况下，除非是“福尔摩斯”式观影，否则观众很难抓住创作者想要表达的意图要点，故事的叙述自然很难有一条主线。

但是，人的双耳则截然不同。在自然状态下，任何一个声音的发出，由于到达两耳的时间差，都能让人分辨出声源的位置。这是声音的天然指向性，即使双眼没有看见，人也能知道声音发出的方位。同时，无论周围环境有多嘈杂，一旦人的注意力被一种声音吸引，就会从生理上自主将其放大、聚焦，也就是人体声学里俗称的“鸡尾酒”效应。其实，这个道理在日常生活中随处可见。例如在一个喧闹的聚会场里，突然有人叫你的名字，你就会循声而望，同时在你的听觉里就会自动“降噪”，降低其他干扰声音的音量，提高你寻找音源的音量，并且逐步将其定向、定位，最终找到音源。这是听者自己在众多声音之中为自己“勾画”出的重点，并且沿着“勾画”的笔迹完成了这一段叙事。

这里需要指出的是，即便笔者对VR作品中的环绕声一再强调，也并不表示VR叙事中，视觉部分就会像传统影视中声音的作用一样被弱化。声音在VR创作中虽然重要，但其最重要的功能在于支撑故事的主线，推动故事的发展，情节的具体展开则仍要靠虚拟视觉来完成。就如同放烟火一样，“嗖”地一声，人们的注意力就会瞬间集中在天空，但要欣赏烟花的美，还是要靠双眼所见。VR影视的叙事，靠的就是这样一个个声音的线索，为视觉剧情的爆发提供连贯而流畅的沉浸式体验。

我们姑且称这一套理论为“烟花理论”。可以想象，在“烟花理论”中，轨迹声音与爆破画面之间的时间、空间搭配将有无数可能，就像小孩子躲在安静处吓唬人一样，“安静”这一无声的音轨被一个夸张的画面瞬间打破，观众不知道这一事件将在何时何地发生。半秒的声画时间差，几场声画错位，都会更加真实地撼动观众内心，从而创造出一系列新的感官体验，产生一系列新的视听语言。

四   还原与重构

对于现有的VR视听语言，一般时间线故事的叙述并不是难点。困难的是许多第三人称专有的叙事方式，例如回忆、闪现等。这些在传统影视中，只需要通过交叉剪辑即可实现。但在VR影视里，已经没有了剪辑的概念，又该如何还原与重构这些效果？也就是说，交叉剪辑的“一步千里，一秒万年”，如何在VR影视中找到替代？许多创作者面对这一问题的处理方式十分简单粗暴：一镜到底。用诸多机巧的设置，直接回避画面的切换问题。这仍是用传统影视的思维来解决VR影视的问题，有一种鸡同鸭讲的感觉。

比起不断增强VR视觉效果，笔者认为可穿戴式设备、植入式设备所能提供的神经感触，才是真正解决这一问题的关键。这一块的开发，将成为VR影视突破性领域。神经感触的引入，其实是在为原有创作手段增加新的感官维度。就如电影《盗梦空间》里的那样，当剧情需要进入回忆状态时，由神经模拟模块发出电流信号，使人产生真实的幻觉。这才是VR影视最终需要达成的目标：让观众彻底地感同身受。这一领域进一步涉及到沉浸式体验，已经从人类外表的五官，进一步进入内在的心灵世界。对观众而言，“沉浸”意味着一种“被包围的感觉”， 仿佛浸入某种液体一般，这种感觉针对人们的多种感官，模拟出各种刺激，打造出“包围个体”的“完整的空间”。例如，影片的情节如果是“我的背后被一阵猛击，晕厥了过去，醒来后发现自己在一间陌生的小屋。”那么，沉浸式体验就会在VR叙事的基础上，进一步增加多维度的感官，让人真的设身处地地感受到“晕厥，之后清醒”。传统影视中转场的作用本来是为了缩短剧情中场与场之间的时间，让创作者在尽量短的时间内完成更多叙事，避免剧情冗长，而不是为了引导叙事。但在沉浸式体验中，要完成更多的叙事，就要在人感官上做文章。可以说，VR技术的出现，让我们对影视行业的发展有了一个更新的观点：所有的影视发展，都是感官维度的提升。

因此，在当下阶段，VR影视能完成的只是“烟花理论”，即在同一时间、同一地域里的表层单线条叙事。基于目前硬件技术条件下的交互式叙事、沉浸式体验，往往都是感官维度不完整的研究。但笔者揣想，技术的发展是日新月异的，随着神经模拟技术的提高，VR影视真正成熟将指日可待。

注释：

①李恒基、杨远婴主编：《外国电影理论文选》上册，生活·读书·新知三联书店2006年版，第275页，第233页。