基于音乐情感识别的灯光表演方案设计

郭强

(重庆市城市照明管理局，重庆 400020)

1 引言

音乐灯光表演起源于舞台背景灯光，现今发展到户外大型音乐灯光表演。香港“幻彩咏香江”、重庆“朝天扬帆”、陕西凤县“凤舞欢歌”等大型户外音乐灯光表演以其震撼的声光效果吸引了大量的游客，得到了广泛的关注［1］。

国内外音乐灯光表演正处于发展探索阶段，音乐灯光表演方案的设计更是一个难点。目前，其设计仍采用传统的舞台灯光设计模式:灯光师根据表演要求，用灯控台设计相应动作方案。设计一套音乐灯光表演方案需要音乐专家，灯光设计师，自控专家长时间的合作，效率低，而且表演方案单一，这种方式不适合大型户外灯光表演的设计。鉴于传统设计模式的不足，在重庆“朝天扬帆”、陕西凤县“凤舞欢歌”大型动感音乐灯光表演工程项目设计调试过程中，笔者所在团队设计开发了一个基于音乐情感识别的灯光表演方案计算机辅助设计系统。该系统不仅能实现灯控台的所有功能，更重要的是还可以通过识别音乐的情感特征，从多个层次上匹配灯光动作，实现音乐灯光表演方案计算机自动生成。

2 系统设计原理

在该系统中，首先进行音乐和灯光的情感特征识别和分析，然后根据两者的情感特征，进行音乐灯光表演动作专家匹配，最终得到相应的音乐灯光表演方案。系统设计原理见图1。

本系统主要由三个部分组成:

(1)音乐情感识别:首先提取出音乐特征，然后构建出其特征空间，通过模糊分类器进行音乐情感识别，得到音乐的情感识别结果。

(2)灯光情感分析:结合灯具及布局信息，通过对场景的颜色、造型及动作变换进行情感分析，得到这些灯光动作场景的情感特征。

图1 灯光表演方案设计原理图

(3)音乐—灯光动作专家匹配:这一部分主要是实现将音乐与灯光动作场景的多层次专家匹配。这种匹配是指根据情感为各个MIDI音乐乐句找到合适的灯光动作序列。

下面将从以上三个方面进行详细分析。

3 音乐情感识别

MIDI文件是音乐信号在电子乐器之间传输的标准，包括硬件接口标准以及电子音乐信号在不同硬件之间的异步串行传输协议。MIDI格式的音乐文件记录了音乐的全部乐谱和演奏的全过程［2］。本文结合灯光表演的特点，选取MIDI音乐文件作为识别对象。

音乐的内涵包含三个层次:基本特征、复杂特征和总体特征。基本特征包括速度、调性、调号、节拍、音色、音量，以及音符的音高、力度和音长等。复杂特征包括节奏、旋律和和声。总体特征包括曲式结构、音乐风格和情感内涵［3］。基本特征都可以从MIDI音乐文件中直接获取，复杂特征需要在音乐基本特征的基础上进一步分析总结获得，而音乐总体特征必须在基本特征和复杂特征的基础上，并利用一定的算法和相关音乐知识，以全局的角度来进行探讨。音乐情感识别流程如图2所示。

3.1 主音轨定位

由于MIDI为多音轨形式，主音轨包含了其主要特征，根据音乐灯光表演的特点，只需要保证灯光与音乐的主要因素配合即可获得很好的表演效果。可见主音轨定位是极为关键的一步。

图2 音乐情感识别流程图

彭琼等对音乐音高进行分析统计发现主音轨的音程主要都集中在0～6度之间［4］，这点是符合声乐原理的，但是她仅将音程作为主音轨的判据是不充分的。笔者通过相关实验发现这种方法的准确度仅对一部分音乐有效。根据音乐乐理，主音轨和伴奏音轨主要区别体现在音程、音量、音高、力度和左右声道平衡度等几个方面，在大量的试验数据分析的基础上，我们提出了一种基于音轨特征量的主音轨定位算法。

首先对各音轨的这些特征进行归一化处理，得到相应的特征量。

音量特征量:

TVt=Volumet为音量。

左右声道平衡度特征量:

Tbt=，Balancet为音轨平衡度。

力度特征量:

Tit=为音符力度值，n为音轨音符个数。

然后根据各个特征量的重要性来确定其权重。由乐理知识可知，比如音轨总长小于各音轨长度平均值一半、音轨音符个数小于各音轨音符个数平均值3/4的都不可能为主音轨。这样可以排除一些明显不是主音轨的音轨，也提高了定位的准确性。

最后将各特征量进行加权累加

式中Trt——音轨 t的加权特征值;

KT，KV，KB，K1，KP—— 分别为各特征量的加权系数。

加权特征值Trt最大的音轨为主音轨。经过对300多首MIDI音乐进行分析统计，97.8%都能准确地提取出主音轨。

3.2 乐句划分

乐句是音乐的基本结构单位，具有独立的情感语义。在灯光表演中，以乐句作为基本设计单元显得比较合理。在曲式分析理论中，划分句子的标志是“句读”。然而在MIDI音乐中没有句读标志，只能根据音乐基本特征来划分乐句。在曲调上有明显的间歇或结束感，或则是在和声上有明确的终止，都可作为划分乐句的依据。在大量实验的基础上，我们总结了几条实用的划分依据，其流程如图3。

图3 乐句划分流程图

① 休止符/长音规则。休止符一般为乐句结束，而MIDI音乐在原始音符表中只有实在的音符而没有休止符，它表现为在一定的时间范围内音轨上没有任何音处于打开状态，需要监视音轨上音符的状态便来确定休止符;长音上的停留也经常实乐句的结束。因此，这将作为一条主要划分规则。

②速度规则。速度的改变意味着音乐情感的变化，可视为乐句分割的标志。

③音区/音强规则，音区和音强的变化也传达了另一个乐句的开始。

在上面3条规则当中，速度具有最高的优先级;长音/休止符规则次之;音区音强规则优先级最低。每个规则触发后，为保证划分的准确性，都需要进行乐句长度检查。由乐理知识可知，乐句的长度是不固定的，还需要根据音乐的风格和速度来确定。

3.3 音乐情感识别

目前已有多位专家学者提出情感模型的分类机制，如 Hevner、Thayer、Tellegen等人。Hevner情感模型得到了最广泛的认可，她认为音乐本身便隐含着情感意义，藉由实验结果，将音乐情感归纳为八类代表性情感语汇:圣神、悲伤、向往、抒情、轻盈、快乐、热情、生机。本系统也是在Hevner情感模型的基础上进行的。

音乐情感通过其基本特征表现出来，如快速给人以活泼、明快的感觉，而慢速就会获得优雅、闲适的效果。但各个特征却具有不一样的重要性。Hevner证明，影响音乐情感反应较为直接的因素次序为:速度、调式、音区，其他因素诸如和声、节奏、旋律进行方向则次之。本文在综合各方面的情况下，将音乐速度、调式、音区、节拍、力度和音色作为音乐情感识别考虑的主要因素，如表1所示。

表1 音乐情感模式

4 灯光情感分析

灯光具有四个可控的属性:亮度、色彩、分布和运动变化。由于光的种种状态和光的变化以及光的色彩，都会引起观众心理和感情的变化，单是舞台上光的渐隐渐显，就能造成不同的气氛而引起不同的情感。运用灯光的这些属性可达到四个目的:清晰度、组合、形状显示和气氛。如图4所示，本文主要从颜色、造型和动作三个方面探索灯光的情感内涵。

图4 灯光情感分析原理图

4.1 灯光颜色的情感内涵

灯的有色光常被分为两大类:寒色光和暖色光。寒色光以蓝色系为主，暖色光则偏黄或偏红，合适地运用色光，不但可产生美的效果，而且还可烘托出不同的艺术氛围和作品所要表现的思想。灯光颜色情感内涵如表2所示。

表2 灯光颜色情感内涵

一个作品必然有一个基调，如多运用红光突出热烈火爆，运用蓝光衬托安静、委婉、深情。当这个基调定了，其他的灯都围绕着去安排运用，也就是说，每一场节目的色调原则应以一个基本颜色为主，其他颜色为辅，体现出起伏感，在色调的搭配上要恰到好处，冷暖流色调变化同颜色饱和度变化要恰当。

4.2 灯光造型的情感内涵

城市夜景在灯光映射下，这就很自然地表现出光影效果，而灯光的光通量、光强、位置和方向使夜景表现出明暗、浓淡、轮廓、远近等受光状态，从而起到造型作用。灵活的运用灯光，调整它的位置、方向、光亮和光色等，就可以在空间形成不同的表现力。

表3 灯光造型情感内涵

在音乐灯光表演中，灯光造型的多少和质量将直接影响灯光表演效果。需要根据灯具的特点及其在现场安装布局，设计出尽可能多的灯光造型，并利用这些造型衍生出相应的动态和静态场景。

4.3 灯光动作的情感内涵

灯光表演所追求的是产生强烈情感交融的灯光艺术效果。这个效果的体现是通过灯光的群体随着音乐的韵律和情感的变化，而有序的、有意义的运动和亮灭组合来实现。它可以是翻滚的浪，划动的桨，旋转的轮，拂面的风，交烁的星，绽开的花，还可以是各种几何图形的趣味变化。通过这些造型和动作的交织变换，将反映出强烈的动感、时代韵律的欢快、似行云流水的流畅，以及梦幻般的朦胧感。

5 音乐—灯光动作专家匹配

通过前面设计搭建的音乐情感识别系统，计算机已自动将整首乐曲分成若干乐句，并分析出每一乐句所表达的基本感情色彩。同时根据表演现场的城市景观、灯具及其布局特点，我们也为各个灯光场景标定了其情感特点。接下来将是根据音乐的情感识别结果匹配能够表达其内涵情感的灯光动作，实现音乐灯光表演方案的自动设计。结合音乐的特点，主要进行结构匹配，乐句匹配和音符匹配三个层次上的设计，如图5所示。首先是结构匹配确定灯光的立体结构，接下来以乐句匹配基准，然后乐句中在补充音符匹配，点面结合，以保证音乐灯光表演的效果。

图5 灯光动作匹配原理图

结构匹配是指根据音乐的结构配置灯光的表演结构。MIDI音乐包含主音轨和伴奏音轨，每首音乐也有前奏、间奏、主旋律、副旋律等部分组成。灯光也因灯具的特性和布局造型分成不同的部分。可以将灯光的立体结构对应音乐的层次，体现出音乐灯光表演的多层次、高立体的艺术效果。

乐句匹配是指根据音乐灯光情感的对应关系，为各乐句匹配相应的灯光表演动作［6］。比如热烈和充满激情的音乐，就配以暖色灯光场景，而对小调婉约的音乐，可用冷色灯光场景，即依据音乐的情绪选择灯光的色调。

音符匹配是指音乐特殊音符 (高音、长音、重音)匹配一些特殊的灯光动作。我们可以用灯光的时值、亮度、颜色和类别的变化来体现音符的音长、音强、音高和音色的变化。在视觉形象和听觉形象和谐统一基础上，重点突出音乐的关键点。

通过以上匹配规则，以音乐时间为主轴确定参演灯具及其动作场景，形成与音乐相对应的灯光动作序列，如图6所示。如果表演效果不满意，还可以进行认为修改，最终实现音乐灯光表演声光同步，在物理空间上体现动作的层次感、连贯性及多样性，以展现灯光艺术的无穷魅力。

图6 音乐—灯光动作匹配结论画面

6 结束语

本文讨论了MIDI音乐的情感特征识别以及灯光的情感体现。系统以音乐灯光情感为核心，进行结构、乐句和音符三个层次匹配，自动设计出对应的音乐灯光表演方案。该系统已在多个音乐灯光表演项目设计中应用，该系统具有很强的推广价值。

［1］韩兴连，林景栋，覃曾锋.基于分散控制的智能灯光控制系统 ［J］.照明工程学报，2008(3)

［2］范建军.MIDI消息和标准 MIDI文件格式剖析 ［J］.咸宁师专学报，第22卷第3期，2002

［3］谢嘉幸.音乐分析 ［M］.北京:高等教育出版社，2000

［4］彭琼，支琤.计算机自动识别音乐情感的关键技术研究 ［J］.电声基础，第32卷第4期，2008

［5］孙守迁，王鑫等.音乐情感的语言值计算模型研究［J］.北京邮电大学学报，第29卷增刊，2006

［6］覃曾锋.基于音乐特征识别的音乐灯光辅助设计系统［D］.重庆:重庆大学，2009