从三部新锐作品探究当前交互音乐的创作形式

世纪70年代，交互技术在音乐领域的应用引发了交互式作曲（Interactive Composing）的诞生。这是“一种作曲或音乐即兴演奏的方式，计算机软件介入到实时的现场演奏中，影响或修改音乐”①。从概念的阐述中我们不难发现这种创作方式区别于常规的三个主要特点：音乐的不确定性、互动性和实时性。近四十年来，交互式作曲被大量运用于现场电子音乐演出中，它打破了音乐内容的预置模式，在音乐表演和呈现之间建立起互动的桥梁。

随着信息时代的到来，数字技术的发展也为艺术提供了更多跨界的可能性。声音艺术可以更为方便地与各种数字化媒介进行联通，与视觉艺术进行互控。由此，交互式声音创作的范围也得到了更为广泛的拓展，呈现出“人机交互”“机机交互”“视听交互”三种具有代表性的表现形式。本文从中各选取了一部新锐作曲家于近期创作的作品，通过对创作理念和技术手段的解析，分别对三种交互环境中的创作形式进行探讨。

一、基于人机交互环境的音乐形式

（一）概念综述

“人机交互”的音乐形式最早诞生于交互类电子音乐的现场演出，主要是由演奏员的动作指令（包括器乐演奏动作、歌唱动作、舞蹈动作等多种指令信息）与计算机编程程序之间展开交互。在这种形式中，预先编写的程序通过传感装置捕捉到演奏动作信息后进行运算和渲染，并生成新的声音经由扬声器反馈给演奏者以进行下一步交互。

近年来，除专业音乐会以外，愈来愈受到关注的还有大量以人机交互为核心的声音装置作品。与现场电子音乐演出不同的是，交互式声音装置的表演主体由专业演奏员变为普通的参观者，其更加注重大众的参与和体验。也因此，此类作品在创作的构思与方式上与音乐会作品存在较大不同。例如，装置作品没有动机的展开、线性的时间发展逻辑，而大多是以模块化的形式设置不同的交互效果，让观众通过互动感知声音所蕴含的情感与思想。

（二）交互式声音装置《凌波I》创作解析

王新宇的《波凌I》是一部基于人机交互环境的多媒体声音装置，该作品首演于2018年10月的装置系列展演“声之形”。作者以“凌”表现升腾之意，“波”则体现了中国传统文化意象中水的形象。作品综合采用了动作捕捉技术、计算机图形技术、全息膜投影技术、四声道计算机声音处理与回放技术，使声音、影像同时在垂直维度中的表现形成为一种对升腾的象征，旨在以新媒体艺术的角度宏扬中华文化。

在整体的技术架构方面，《波凌I》主要由7个软、硬件单元构成整个多媒体装置系统。主要包括：动作传感与捕捉模块、动作与听视觉参数关联与映射程序、数据驱动音频程序模块、数据驱动视觉程序模块、视频投影模块、数字音频接口和音频回放设备。其中，动作传感与捕捉模块、视频投影模块、数字音频接口及音频回放设备属于系统中的独立硬件模块，而动作与听视觉参数关联与映射等三个程序模块，全部处于同一多媒体计算机工作站当中。

图一  《波凌·I》系统结构简图

作品通过微软公司的Kinect 2.0体感摄像头对体验者的手势动作进行捕捉，并将捕捉到的手部位置信息传送到预制好的MAX /MSP②程序中。由此，得到一对适用于音乐与视觉参数控制的X、Y位置坐标数值作为控制实时音乐与视频生成和处理的原始驱动数据，并同时送入到动作与听觉、视觉参数相关联的映射程序模块中，唤醒音乐程序模块和视觉程序模块开始工作，从而引起听觉与视觉效果的实时变化。

具体来说，在声音交互部分中，MAX程序在接收到X、Y位置坐标源数值后，会实时生成两类具有丰富层次的音乐内容。第一类是基于电子合成乐器声源的一些带有神秘色彩的长线条、和声性或旋律领奏性声音以及一些带有弹拨性质、敲击性质的节奏性声音;第二类则是数字音频采样库中的自然声源，例如不同液体、液滴以及波浪的声音，以呼应作品的主题。作品对X、Y位置坐标源数值的输出做了加速度判定处理，通过体验者手部位置的加速度情况而判定当前的动作激烈程度，从而划分出两种不同的声音激发层次。在较为柔和的层次中，实时音频程序的控制以轻柔的电子铺底化和声音层的渐变为主，声音的明暗、音高、音区等要素随着的位置源坐标的变化做出相应的响应和变化。而当体验者的动作较为激烈时，实时音频程序同样会切换到相对激烈的音乐模式当中，随机触发较为响亮的电子铃音与打击乐声部，以及不同的波浪采样声音。

在视觉交互部分中，数据驱动视觉模块以Jitter程序中的“jit.gl.mesh”物件为核心，通过“jit.noise”与“jit.gen”物件之间的组合，在“jit.world”中利用OPEN GL标准图形引擎生成一个包含大量粒子点的空间。之后，利用另一组“jit.noise”与“jit.gen”构建出一个可以对空间中所有“液粒”形成吸附作用的引力点，通过对“jit.world”引力数据和引力空間的重力状态进行实时控制和调节，形成一种特殊的粒子吸附、升腾与悬浮效果。在此基础上，整个数据驱动视觉模块设置了“有人操控”和“无人操控”两种工作模式，当有观众进行参与时，视觉程序中的控制接口会打开，由体验者接管数据控制权，而当装置的动作识别区域内没有观者存在时，程序会自动进入“无人操控”模式，将视觉模块中的所有颗粒锁定在空间的“地面”上，形成一汪液体随机滚动、游弋的效果。

在作品最终的整体呈现层面，音频输出的空间定位算法成为至关重要的一个部分。该算法将视觉模块中的引力点在二维声场中进行数据映射，得到相应的的位置，并根据位置的坐标数值调节四个扬声器的振幅水平，从而让声音的定位变化与视觉引力点的定位变化类似，共同与参观者的动作产生一种直观的关联。另外，与视觉模块类似的是，音频模块同样设置了有人与无人两种运转模式。当有人参观时，声音进入一种由手势动作驱动的“演奏”模式，而在无人参与时，则是一种随机化的氛围电子音乐生成状态。

二、基于“机机交互”环境的音乐形式

（一）概念综述

“机机交互”严格来说是在“人机交互”大范畴中发展出的分支——以数字化媒介与计算机程序展开交互的模式。得益于当前声音编程环境的开放性，音乐能够更加自由地与各种数字化设备进行联通，从而极大地拓宽了交互媒介的范围，衍生出基于智能设备与计算机交互的音乐创作。其中，既有将生活中常见的电子设备例如智能手机、平板电脑、数字游戏杆等化身为“交互乐器”实时改变音乐呈现的作品，也不乏艺术家们根据创作需要，用自己研发、设计并制作的创新数字媒介进行交互音乐表演的精彩案例。媒介的丰富程度和更新速度令人目不暇接。

“机机交互”创作面临两个核心问题;其一为数据如何进行映射，其二为如何通过现场肢体表演与声音形态建立必要的关联。这两个问题同样也是此类创作的技术实现与审美理念之所在，决定着一部作品的呈现水准。在传统声学乐器中，无论是弦乐、管乐、打击乐亦或是键盘类乐器，其演奏动作与声音效果已通过物理的声学规律绑定，因此演奏动作与声音之间的映射关系是固定的。但这种情况在新型数字化媒介中并不存在，因而，在此类创作中，如何为演奏动作与声音建立映射关系、建立何种映射关系成为了创作者首要考虑的问题。

（二）《绳索与声线之歌》创作解析

《绳索与声线之歌》是冯金硕为Gametrak控制器而作的交互式电子音乐作品。Gametrak原本是为数字游戏开发的一种可以追踪双手三维位置的线性数字媒介。其控制线长达2米，四周伸展面积可达到12.56平方米，能够让现场演奏更具表演性。同时，因为具有清晰的拉力反馈便于精准控制，对演奏的精度有很大的帮助。

该作品的主要创作思路是通过Gametrak控制器实时捕捉演奏者的动作信息，触发声音的合成。创作策略分为演奏形式设计、演奏动作设计、数据映射设计三个部分。

在演奏形式方面，表演过程类似于操控3D游戏：演奏者的双手牵拉控制器的绳索，产生的动作数据实时触发计算机程序进行声音合成。这些由计算机合成的声音模仿了歌唱时的声腔，仿佛是用双手“牵拉”出的乐句，既富有艺术的夸张，又颇具趣味性。

在演奏动作方面，由于动作与声音表现的契合度将极大地左右观众对于作品的理解，因此，动作设计以及如何与声音内容进行关联是作曲家考虑的重点。在《绳索与声线之歌》的创作和演出过程中，结合声音的表现与控制器的自身特性，作者从三个方面将动作与声音形态进行了关联，即：演奏动作的指向决定了音高的上行与下行、演奏动作的幅度和力度变化决定了音乐的响度大小、演奏动作的速度与音乐的节奏律动相对应。基于以上三种关联，作者在程序中建立了动作数据与声音内容的映射关系，使双手拉拽绳索的动作能够实时影响和控制声音合成的参数，包括音高、包络、共振峰等等，从而引发声音形态的实时变化。并且，当音乐速度极快或响度很高的时候，将动作幅度适当夸大，以加深声音形态的表现力。

在数据映射策略方面，《绳索与声线之歌》以“多对一”映射为主，即多个动作参数共同控制一个声音合成参数，各参数之间构成交叉。例如，为了能够在拨动控制器的牵线时营造一种“拨弦”的效果，作者将拨动牵线时同时获得的X轴传感器和Y轴传感器坐标信息映射成为计算机合成“拨弦”声音的数据。并在过程中增加了一个映射中介层，即：将X轴和Y轴的两个笛卡尔坐标系（Cartesian coordinates）的向量转化成极坐标（Polar Coordinates）的向量，即r/θ（半径坐标与角坐标），再丢弃r数据只保留θ数据，获得牵线的离轴角度，从而让程序理解“拨弦”的动作。

三、基于视听交互环境的音乐形式

（一）概念综述

声音是一门听觉艺术，而人们对于声音意象的感知却在一定程度上依赖于视觉经验。无论是乐器演奏、人聲歌唱、交通工具的鸣响、动物的鸣叫等诸多能够传递信息的具象声音，还是那些不以承载和传递信息为目的的抽象声音，对于其意象的理解往往都需要结合对视觉感官的联想。例如用“颗粒性”去想象时值短促的声音，用“线性”去想象长时值的声音等。这种基于形态与空间上的所谓视听连觉的通感，成为视听交互创作中声音意象可视化的实现路径，让“无形”的声音变得“有形”。

“视听交互”创作包含了视觉影像与声音艺术两种元素，视听内容均由计算机编程环境实时生成，通过数据的交换进行联动与互控。其打破了传统视听结合形式中视觉媒体与声音媒体各自“封装”的状态，使两种媒体互为主从，以“声音”可视化和“视觉”可听化的形式相互实现增值。因此，在此类创作中，视觉形象与声音形态的关联性显得尤为重要，如何让声音意象与视觉形象相互契合成为创作的核心之所在。

（二）《造物者的赞美诗》创作解析

《造物者的赞美诗》是马仕骅创作的一部三段式视听交互作品，作品的核心思想体现的是作者对于人类与数字世界之间关系的思考。其中的视觉影像与音频部分均通过Max编程环境实时演算生成。从微观角度来看，双方互相影响对方的效果呈现，但从宏观角度出发，整体的变化规则却掌握在表演者手中，以此为“造物”点题。

1. 声音材料的构成与组织方式

由于作品意图讨论人性与数字世界之间的关系，因此在声音材料的选择方面，作者希望能够体现出两种层次的对立与融合。全曲的声音素材共分成两大类：由正弦波、白噪声等声音信号为基础的合成声用来预示“数字世界”，“造物者”的主题源于四个乐句的女声吟唱，使用了教会调式和较为宣叙性的旋律。

在完整呈示人声材料后，其自然的声音特质逐渐开始受到电子化处理手段的影响，开始逐渐向着抽象化的电子合成声音特质靠拢。经过两个段落的发展，逐渐与电子化的背景融为一体，以此隐喻人类所处的现实世界与数字虚拟世界的逐渐融合所带来的的人性迷失。值得一提的是，为了深入表现出从自然声到电子声的过渡，作者使用了“交叉合成”（Cross-Synthesis）③的手法，将人声材料的频谱信息进行实时分析，并将其缓慢加入到以振荡器为基本工具的电子声合成程序当中。

2.影像表现特征与视听结合手法

作品的影像材料同样采用了写实素材与抽象素材的结合，并通过实时控制完成二者间的平滑过渡，过渡变化的幅度由声音部分的振幅、合成声调制幅度等数据控制，从而达成视听媒体间的紧密结合。影像内容主要基于面部建模、粒子和立方体三个主要模块变形发展而成，其中大部分影像模块的效果变化都受到了声音信号不同程度的影响。同时，两者之间也存在着明显的关联，这种关联主要体现在影像素在与声音素材在整部作品的结构分布中相互对应，在形态特征的表现上互相参考。

3.《造物者的赞美诗》所体现的视听关系分析

第一，宏观视听关系分析

从作品的宏观方面来说，影像部分与声音部分均显现出纯粹极简、抽象化的总体形象。为了使作品更加清晰有序，作者对声音与影像的交互逻辑进行了精心设计，音频模块与视频模块在各个段落中的对应关系以图表方式进行归纳如下（未出现对应的部分用“X”符号代替）：

从上表能够看出，为了让画面的景别关系更加清晰，作者基于视听动态结合设计了功能区分。在大多数情况下，音视频模块之间相互对应，确保影像與声音呈现之间保持深层次的互动。在少数情况中，音视频模块暂时分割，视频模块单独作为背景构图，没有与声音关联，反之亦然。这样的现象大多出现在内容密集的段落，如在高潮段落三中，由于此时音乐与视频变化的节奏已非常快，作者有意识地让音频模块C产生的持续钟鸣音脱离同步关系，独立存在于背景当中。可见作者在处理两种媒体交互的逻辑时较多考虑了声音的显形比例与二者之间的整合关系，从而使作品中的声音意象在影像中的传递更合乎逻辑性。

第二，微观视听关系分析

从微观设计来说，《造物者的赞美诗》中声音与影像的结合逻辑主要与视听联觉的原理相关，具体体现在三个方面：

从声音形态与造型要素来看，由于声音部分大量碎片化的人声、噪声、脉冲低音等在总体听感上都具有明显的“粒子特性”，并且大多以颗粒集群的方式呈现，所以作者在视觉影像中同样选用了许多点状素材进行构图，将碎片化特征体现在视觉上。而这些素材的变化通过程序设计能够与声音信号通过数据映射来保持同步，使视听双方在形态方面能够更好的契合。

从声音音色感受与影像色彩要素来看，作品将二者保持了相当的统一性。整部作品的视觉空间与其中的内容全部采用单色呈现，黑白两色分别用于背景与前景内容，通过相互调换，带来光影关系的剧烈变化，增强了段落间的对比，营造出视听表现的张力。

从声音空间与视觉空间的结合角度看，作者通过调整声像位置与混响比例在听觉空间中形成了声场的的远、中、近景，并通过视觉空间中的景别关系加以呈现。这样的安排使双方的空间层次都十分清晰，当前处于主体位置的视听材料能够同步突出，不同层次的关系也能够相互得到更为直观的表现。

结 语

交互式音乐创作是一个高度综合的广阔领域，它涵盖了多维感官与多重媒体的内容，既是创作形式的创新，也是演奏形式和体验形式的创新。依托于快速发展的交互技术和不断演进的各种新型数字媒介，创作者们将听觉艺术的维度不断向外拓展，与各类艺术元素进行融汇贯通，并在一定范围内增加内容的随机性，使得形式更加丰富。我们能够预见到的是：交互式音乐富有希望与前景，同时也充满了未知与挑战，而这些无穷的变化和不确定性也正是它的价值与乐趣之所在。在视听媒体高度发展、音乐与科技深度融合的趋势下，我们可以期待它更为有趣和智能化的未来。

这种方法最早出现于法国作曲家让·克劳德·里赛特（Jean Claude Risset）等一系列作品当中，对于电子音乐创作中的

材料平衡与过渡问题提出了极佳的解决方案。

[基金项目：本文为2018年中央高校基本科研业务费专项资金“交互式声音设计研究”（项目批准号2018NTSS53）、2018年国家社科基金艺术学重大项目“中国数字新媒体艺术创新研究”（项目批准号18ZD12）的阶段成果]

赵晓雨  北京师范大学艺术与传媒学院讲师，中央音乐学院电子音乐作曲博士         （责任编辑  张萌）