音乐、美术跨媒介相似性测试及其学术启示

■[美]阿曼达·凯瑟琳·杜希/王兴宇编译

（译者单位：中国传媒大学，北京，100024）

音乐、美术跨媒介相似性测试及其学术启示

■[美]阿曼达·凯瑟琳·杜希/王兴宇编译

（译者单位：中国传媒大学，北京，100024）

视觉艺术和音乐的互动既在个体层面上发生（例如联觉者的创作灵感受到音乐激发），也在群体层面上出现（例如巴洛克时期艺术的“装饰性”抽象品质浸染到了多种艺术形式之中）。本文作者在视觉艺术和音乐之间的多种跨媒介相似性中择选其一，为其设计了一种量化研究方式，以求揭示这两种艺术之间的直接影响，即在一个特定艺术运动所处的特定时期内选取音乐作品样本和绘画作品样本，分别考察其音高谱系和颜色亮度谱系，以探索其跨感官的联系。具体地，作者通过抽取数值、测算和对照，比较了1870年至1920年间法、俄两国的音乐作品和绘画作品，结果发现，虽然这段时间内俄国的绘画作品在用色上明显要比同时期的法国绘画作品更深暗，但类似的显著差别并未出现在音乐作品的样本之中。这一结果并不支持关于跨媒介艺术类型之间有着直接影响的猜测，但猜测落空的背后不能忽略某些音乐社会学与音乐传播因素的作用。

音乐传播 艺术门类比较 联觉 艺术统计

视觉艺术与音乐之间的相互作用已经是艺术理论与艺术史中不可缺少的一部分。在过去的一个世纪里，受音乐影响的艺术家已是司空见惯，比如抽象表现主义艺术家波洛克（Jackson Pollock）和立体主义画家戴维斯（Stuart Davis）在他们颇有影响力的作品中公开接受爵士乐，而波普艺术家沃霍尔（Andy Warhol）曾深受摇滚乐队“地下丝绒”（The Velvet Underground）的影响（这种影响的表现之一是他在1965年成为了乐队的经理）。即使当视觉艺术和音乐互不影响的时候，艺术家们也可以在没有直接跨领域交流的情况下分享某些抽象的特性，因为音乐和视觉艺术分别占据时间和空间，它们通常共享着相同的外部影响。这些影响可能来自社会灵感（比如政治活动、文化创新），或是技术的发展（例如大规模制造业的建立可以让乐器材料趋于一致）。

除了分享巧妙的思路之外，视觉艺术和音乐在艺术运动的名号方面也是有联系的，比如矫饰主义（也称为风格主义，即Mannerist）、古典主义、浪漫主义、印象主义、分色主义和极简抽象主义。通常，音乐和视觉艺术的运动在同一时期会使用同样的名称。然而，一些本来处在不同时期的音乐与美术运动也一直被联系在一起，那是因为它们具有相似的抽象特征，比如被艺术界熟知的矫饰主义。美术中的“矫饰主义”这一术语，在16世纪被应用为一种艺术风格，然而在音乐中，矫饰主义在比前者还早200年的14世纪的法国就已经成为一种创作风格，也称作Ars Subtilior。这些运动共同拥有一种“强烈歪曲”（distortion）的抽象特征。在视觉艺术中，矫饰主义的一个典型例子是帕米贾尼诺（Parmigianino）在1535至1540年之间的画作《长脖子的圣母玛利亚》（图1），画家在空间中将人物拉长和变形，其体现的扭曲几乎让人达到困惑的程度。这样使人感到困惑的特性，与矫饰主义音乐运动的作品是有一致性的，例如法国的世俗音乐作曲家科迪亚大约作于1385年的合唱《美女、骨头、圣人》（图2）。在这部作品中，旋律呈现出有节奏的错乱性和令人发昏的复杂性，而且这部作品的乐谱也形象化地用一个心形来表现（使用了视觉音乐风格），为从视觉上理解其前卫的音乐风格创造了一种引人注目的隐喻。这两个作品虽然在创作时间上相距一个半世纪，但是都属于矫饰主义类型，因为它们各自用色彩和声音证明了两者有着相同的“歪曲”特性。

在更重要的层面上，音乐的不少术语也是与视觉艺术的术语类似的，它们表达着相同的抽象特性，比如质感、平衡、形式、线条与和谐等术语。举例来说，“质感”一词在视觉艺术中被解释为媒介的物理密度与粗糙感，与此同时，在音乐中，“质感”关系到声音的活力，以及音乐记号在谱表上出现的数量及其垂直运动的状况。在抽象的形式中，它们的特性相似。如果对它们的特性进行定量分析，可能会在两者之间建立更直接的联系，并且可能帮助我们得到一个更深层次的理解——它们之间相互影响。据笔者所知，目前还没有哪位研究者尝试过以经验主义的手段去测量音乐与视觉艺术之间的相似性。

图1 帕米贾尼诺（Parmigianino）《长颈圣母》（The Madonna with the Long Neck），1535至1540年间，木板油画

图2 科迪亚（Baude Cordier）《美女、骨头、圣人》（Belle，Bone，Sage）乐谱，约1385年

图3 “Bouba/Kiki效应”中提到的图形Takete与Maluma，或称Kiki和Bouba

虽然视觉艺术与音乐没有被一起做过对比测量，但是长期以来都有证据表明人们确实在视觉与听觉之间建立过联系。1910年，格式塔心理学派创始人之一科勒（Wolfgang Köhler）进行了一次心理学实验，想要测定人类是否能够清晰地认识声音与视觉要素之间的联系，尤其是语音与图形之间的联系。他准备了两个不同形状的物品，一个是参差不齐、锋利的，另一个是平滑圆润的。随后，他引导参与者用Maluma和Takete这两个词给这两个形状命名（图3）。他发现，几乎所有参与实验的人都会将Takete这个名字赋予锋利的形状。在后来的实验里，他更换了名字与物体（Köhler，1947；Ramachandran和Hubbard，2001；Maurer等，2006），其结果依然与此前的调查一致。那些以多种语言为母语的人中（Maurer等，2006），95%至98%会对名字和图形做出同样的联系。这项“图形—声音”对应关系研究现在通常被称为“Bouba/Kiki研究”，而且结果被称为“Bouba/Kiki效应”。该结果清楚地表明，在视觉与听觉信息之间存在一种交叉感应（跨感觉）的转换（cross-sensory translation），特定群体内的成员往往有着相同的跨感觉对应格局。这个效应也被称为“交叉知觉模式抽象”（cross-modal，指两种不同知觉模式联合作用），指的是从一种感官的经验中半自觉地分离出一些特征，同时通过隐喻的方式把特征运用在另一种感官中，或与之进行比较。神经科学家拉马钱德兰（V.S.Ramachandran）通过一个例子解释了这种现象：“切达干酪”（Cheddar，英国产的一种干酪）经常被用“犀利”（sharpness）这个词描述，但这种奶酪自身其实无法形成锐利的几何形状，只不过人们能从它特有的味道联想到尖锐的刺激性感觉（Ramachandran和Hubbard，2003）。

俄罗斯画家瓦西里·康定斯基在他1911年的著作《艺术中的精神》（Concerning the Spiritual in Art）中谈到了音乐与视觉艺术的内在关系。他认为美术应该作为凝固的音乐而存在，并使它的接受者可以同时产生生理的反应和“内心的共鸣”（inner resonance），因为特定的色彩会鼓动观察者产生特定的情绪。康定斯基对色彩与情绪（有些是音乐的）之间的特殊联系有着深刻的认识，例如，他把黑色描述成一种“绝对的沉默”，还解释说蓝色和黄色这样的色彩内在地体现着音色特质，就像长笛和喇叭的声音。康定斯基对色彩与音乐材质的联系的思考，对他自己而言是显而易见的，但那些没有他那种强大和细腻的感受力的人可能就没有这些感觉。不过，早在康定斯基之前，哲学已经点亮了对视觉艺术与音乐之间那种不可言喻的关系的思考。有许多文章和书籍都论述了视觉艺术与音乐之间的联系与相似性（例如Janson，1968；Vergo，2012；Wallen，2012），同时也有文章或书籍论述那种精微的跨感官对应或转换（例如Miller，1959；Beck，1999、2005）。但目前仍有一个需要解决的问题：一场艺术运动或一整个艺术时期中的音乐与视觉作品之间，是否有可被测量的相似性？

许多认知科学家、神经科学家和艺术史学家现在怀疑康定斯基是一个“联觉者”（例如Marks，1975；Berman，1999；Ione和Tyler，2004）。这种人在某种感官上接收到一个刺激后，会不由自主地在另一种感官上产生一个额外的体验，比如一个有“色联觉”的人会因为听到一种音调或音色而产生一种看到颜色的感觉。由于联觉是不由自主的，许多联觉者并不能意识到他们的感觉与非联觉者是不同的，除非有人指出这种不同。康定斯基在他的文章中清楚地提到，他偶然遇到的音乐纹理影响了他的绘画风格和思路。他还提到了绘画的和谐，关乎色彩的音乐意义和由画面所用颜色唤起的额外的颜色感知。

联觉依然活跃在现在的艺术家群体当中，许多艺术工作者公开承认他们的感觉状况严重影响着他们创作中的选择。纽约油画家斯蒂恩在一篇艺术家声明中谈到了他2003年的画作《当面逃离》（图4），并由此描述了他的联觉经验：

这次联觉经验基于一次特殊的色彩幻觉。当我听着桑塔纳（Santana）乐队的歌曲《Adouma》时，它出现了。我看到了灯光的颜色，不是颜料的色彩。并且，在我画下这些闪烁的色彩的同时，我在一遍遍地播放这首歌曲。拥有这种由声音而起的幻觉或者说光幻觉的优势是，我不需要依赖自己的记忆。研究者认为我们联觉者看到的就是这些幻觉。重放这首歌，我就可以看到这些颜色了。（McDonald，2006）

图4 斯蒂恩（Carol Steen）《当面逃离》（Runs Off in Front），2003年，纸面油画

这样已知自我状况的联觉画家正在变得越来越多，于是历史学家和认知科学家也更加关注那些可能是联觉者的已故艺术家们，比如凡·高、高更和前面提到的康定斯基（Ione，2009），他们使用色彩的特点都极其显著，并且用得无拘无束。

联觉与更高层面的视觉和言语理解力有关，并且和隐喻能力有关（Ramachandran与Hubbard，2003）。在1989年，多米诺（Domino）介绍了他的一次研究。他想测定的是联觉效应是否在艺术家群体当中更为普遍，结果发现，艺术家群体中联觉者的比例（约23%）比普通人群中（不到5%）更多。丰富的联觉能力带来较强的感官敏锐度，视觉的刺激可能有助于这些人迸发灵感，并促使他们进入艺术领域。

直到最近，“联觉”与“交叉知觉模式抽象”两个词已经在许多文章中被交替使用。许多研究者已经把联觉者放在了“跨感官抽象程度”谱系的一端：这一端有着纯粹的通感（在感官体验时会由于一种刺激而不自觉地出现另一种情绪的激活），与之相对的另一端则是简单、常见的跨感觉隐喻的现象（通常出现在普通人群体中并且各人彼此一致）。伯曼（Greta Berman）在她1999年的文章《通感与艺术》（Synesthesia and the Arts）中写道：“我相信联觉存在于一种连续统一体中，其范围从纯粹的联觉延伸到完全没有联觉的个体。”这个观点在后来的文章中被毫无疑问地证实了。由此，“跨感官”与“联觉”这两个术语暂时没有了差别。直到2013年，德罗伊（Deroy）和斯宾思（Spence）进行了反驳论证，说这个连续统一体在逻辑上根本不协调：因为跨感官抽象是一个直觉过程，有意识的知觉隐喻在普通人之间是彼此一致的，而联觉却是一个不协调的、生动的、依靠交叉感觉的活动，发生在一小部分人（联觉者）当中，并且他们情绪活动的细节彼此是不一致的。例如，当许多人会在锋利的形状与清脆的声音之间产生一种跨感官的联系（类似于Bouba/Kiki效应）的时候，一个联觉者可能会在看到一个另外的锯齿状图形后感受到丰富的淡紫色，并且感受到因拉扯而发出的尖锐声，或是尝到了奶油菠菜的味道。这些现象之间的彼此不一致，对应于这些体验发生在大脑的不同区域的事实。目前认为，跨感官抽象大部分发生在角形脑回，这是一个可以执行包括语言、空间认知和记忆修复等众多功能的大脑区域（Hubbard和Ramachandran，2005）。然而，联觉凭借跨越连接（across connection）可以发生在两个或两个以上的脑区域中。对不同的联觉来说，大脑中的这些参与部分可能都是不同的，这取决于它们的联觉特性。举例来说，“数字-色彩”的联觉者在大脑中的数字与色彩区域有跨越连接（Ramachandran和Hubbard，2003）。

根据这些不同之处，德罗伊和斯宾思证明：跨感觉抽象和联觉应该被认为是分开的过程，我们不应该将两者混为一谈（Deroy和Spence，2013）。随着两者被区分开来，这些学科的研究者们现在必须质疑一下此前关于抽象和联觉的论文，因为这些早期的研究方法并没有确定这一界限。

而音乐和视觉艺术相互影响的现象，在杰克逊·波洛克的时代（20世纪上半叶）变得越来越普遍，但它们并不是此时才出现的。例如，马尔凯托·达·帕多瓦（Marchetto da Padova）基于他的经文歌，在1305年为斯科洛文尼教堂（Scrovegni Chape）的落成进行了创作，该建筑中还有许多的壁画（乔托绘）。这个实例可以说明，乔托对乐器的声音品质的适应性是敏锐的，这可以从他画在壁画里的乐器上反映出来。另外有一个实例，乔托在其早期的湿壁画中，把一支在前面喧闹的喇叭（用于婚礼游行时的传统乐器）缩短成了一支更宁静的长笛，这么做是为了在壁画中更好地描绘圣母玛利亚的游行。后来，15世纪的芭蕾和16世纪的歌剧等现场表演艺术的发展，为音乐家和视觉艺术家共同工作提供了更多的机会，让他们在置景、服装和音乐中发挥协同作用。

哈森夫斯（Hasenfus）在1983年开展了一项研究，指出那些自称是“门外汉”的人，或说那些以为自己在艺术上非常浅薄的人，照样可以组织和进行跨媒介艺术运动。这项研究虽然受到高度关注，但其结果产生的原因依然是一个谜。哈森夫斯相信，跨形态的隐喻会在外界刺激“在一个足够抽象以致跨感觉比较得以发生的层面上被处理”时发生，但是，作为让这些跨感觉比较能够发生的必要条件的、特定形式的“转化”到底是怎样的，目前还没能确定。我相信，关于艺术运动之间潜在的跨形态相似性探索，或许会确证哈森夫斯的研究成果。

还有个可靠的证据，可以说明伴随较高音调的流行音乐通常会与轻快（明度较高）的视觉艺术被联系在一起（例如Galeyev，2007、2003；Klapetek等，2012）。这些特点在视觉和音乐作品中是可以被测量的，并且我相信对音调与视觉之间的属性进行测量、比较，有可能会成为一种有用的方式，有助于我们判断艺术运动中作品之间跨形态的相似性。

一、研究假设

前面提到的多米诺的例子表明，在有艺术背景和倾向的人群中（或者，至少在被认为有跨感觉抽象倾向的人群中）普遍存在一些联觉者。如果这种流行度像多米诺猜测的一样高的话，并且，如果其存在的比例在时间与位置上有极大的一致性的话，那么这里存在一种可能性：在历史上的艺术运动中，音乐和美术作品之间的关系有某种敏感的特征。如果这一点属实，那么通过比较一种文化中美术和音乐共有的要素，就可能让关于艺术特色的信息和渗透着多种媒介的文化哲学发生融合。

我采用了一个模型去提取和测量那些通过跨媒介的抽象而表明有着相互联系的属性：色相（strength of color）、明度（lightness of value）和音高（height of pitch）。之所以选择这些属性，是因为它们都是可以被量化的，同时也是因为有可靠的证据证明它们之间共享着一个跨媒介的梯度指标。音高可能是音乐作品中最能保持一致的组成部分，它不像音长和音量那样可能在各次演出之间发生较多的变化。在这项研究中，我用音高去比拟“明亮度”（brightness），之所以用这个术语，是因为它指的是灰度级，而非色彩饱和度（saturation of color）。

为了测试这个模型，我把它用于比较1870年到1920年之间创作的、俄国和法国的音乐与视觉艺术。由于音乐和美术创新和发展的幅度很大，对这些分析法来说，这是一个非常大的时间跨度。这段时间内的艺术，由我们现在熟知的法国印象主义者所主持着，在音乐（例如萨蒂和德彪西）和美术（比如德加和莫奈）中都是如此。这个时期也是俄国艺术的黄金时期，美术和音乐在这个阶段确立了一种独特的民族风格。在音乐当中，由俄国“强力五人团”（巴拉基列夫、居伊、穆索尔斯基、里姆斯基-科萨科夫、鲍罗丁）为主导；在视觉艺术当中，则有巡回展览画派（包括著名的希施金、列宾和苏里科夫）。这一大批艺术家为俄国确立了一种与众不同的、清晰的美术和音乐风格。

尽管这个时期的民族主义是一个重点，但是这个时期法国和俄国之间也可能有艺术家们的相互影响，他们至少通过影响吸收了彼此的音乐或美术特点。由于李斯特的推崇，1873年以后，新俄国音乐（包括强力五人团）在西欧流行起来（Meyers，1958）。即使是最典型的法国作曲家，也有可能去听俄国作曲家的作品，比如1878年，里姆斯基-科萨科夫的歌剧《萨特阔》（Sadko）就在巴黎被演奏过。俄国巡回画派的成员们与法国印象派艺术之间也有一种复杂的关系。例如，在19世纪70年代中期，列宾曾受到过激发，创作了法国风格的风景画，他还因此被巡回展览画派的组织者和领袖人物——克拉姆斯柯伊所批评，被说成是“正在逃离战场”（fleeing the field of battle）。克拉姆斯柯伊认为，列宾忽视了对自己国家艺术的责任。他还坚决认为，俄国艺术家应该描绘俄罗斯的景象和人民。然而，就在此前十年，克拉姆斯柯伊游览法国的时候，还曾经鼓励他的艺术团体成员去研究西方的艺术理论和艺术史（Valkenier，1975）。

关于法国和俄国音乐的音高比较，有许多例子可以证明两者有根本上的不同。在赞美诗音乐中，男低音都喜欢使用特别低的人声，在18世纪以前，俄国东正教（Orthodox）音乐尤其喜欢频繁使用倍低音。这些人声音域很少甚至从未在法国的赞美诗、礼拜仪式音乐或世俗歌曲中出现。因此可以估计，19世纪之前的俄国赞美诗的音高普遍要更低。

目前几乎没有关于俄国和法国视觉艺术的差异性的对比。然而，有传闻说从20世纪初开始，俄国的美术普遍要比同期的法国美术更加深沉、灰暗。有两点可以解释这一说法：一是法国印象主义绘画的目标是再现注满光线的氛围；二是法国与俄国地理条件和自然光照程度的不同。

作为研究对象的任何作品的选择都会包含偏见，即使它是由最出色的研究者谨慎考虑后选择的。本文作者也已经做了很大的努力去搜集每个国家大量的最具代表性的音乐和美术作品，但也必须指出，它们在被选择的过程中没有使用双盲（double-blind）的方法，并且其原作者的范围受限于作品的数字版的使用权。同样地，对同一时期或同一艺术运动当中音乐与美术之间的关系，本文的研究仅应该被当作一个初步的测试和探讨。

二、研究方法

在选择图片的过程中，我确信这些作品具备被分析和被交叉比较的资格。为了获得一致的样本，所以我只考虑1870年至1920年期间完成的作品。一位艺术家的创作生涯只要处在这五十年以内，那么他们的作品就可以不限更具体的时期而被纳入考虑范围。为了保证绘画作品的色彩媒介的化学成分有效以便不影响结果，我只选择油画作为样本，不论作品是画在帆布上还是木板上的。同时，为了保证在可操作范围内的尽可能一致，我只采用风景画和大幅面的人物画，因为这些主题的内容往往是艺术家在完全控制的心态下绘制的。此外，由于收集的样本是数字格式的，所以必须确保图像较大并且分辨率足够高。19世纪末期法国和俄国的绘画与现在的绘画很相近，所以我也需要小心地去分辨和评估色彩的浓度和图像的品质，这样才能确保不会让图像的问题影响结果的准确性。

我选择的音乐作品也是1870年至1920年期间的。为了避免由泛音和乐器音域不同而引起的问题，所有被选择的乐曲在音色上都具有相似性：为钢琴、管风琴、脚踏式风琴、合唱队、铜管乐器和弦乐四重奏而作的乐曲被选择在内，同时，这些作品中也包含标题音乐和纯音乐。其中有一些乐曲最初是为其他乐器而作的，但只要是被作曲家本人（或者同一时代、同一国家的其他作曲家）进行过改编的，也不会被排除在外。

为了尽可能地减少被其他音乐和美术的思潮干扰的风险，本文的研究中选择的作曲家和画家需要符合两个条件：一是他们仅学习自己的技艺，二是一直遵从本国的创作原则。因此，一些很有名气的、受追捧的作曲家和画家在这项研究中没有被纳入考虑范围，比如柴可夫斯基，他研究过西欧的音乐创作风格，并且同时还和俄国的强力五人团有复杂的关系，又如康定斯基，因为他在爱沙尼亚和德国等许多地方学习过。然而，多重文化的相互影响是难以避免的，所以，在画家和作曲家的圈子中，所谓的民族主义总是被本文考虑在内，这是为了减弱那些强劲的多文化互动带来的影响。我在收集了关于法国和俄国的各80张图片后，用一个色彩归纳器提取了这些图像的色彩信息（Krzywinski，2006）：每张图片都会经过这个程序，通过隔离和量化每个像素，提供一系列测量值。从这些图片中，我抽取出明度、饱和度数值，还有每张图片的明度、饱和度数值的平均值与误差。这样就可以确保那些数据不仅包含平均明度，还包含每幅作品的色调范围。完成图像数据提取之后，我尝试通过平均值和标准误差来测定法国和俄国作品的显著性差异（significant differences）。

我分析了收集来的153部音乐作品（77部法国乐曲和76部俄国乐曲）的MIDI格式，这种遵循特定的二进制数据规范的文件格式可以让我们方便地提取音乐作品中的音高数据。我把每个音高的出现频次也包含在实验数据中，同时，实验数据还包括每个音符播放时长的集合。通过这些数据，我用与前面类似的方法，计算了音高的平均值和标准误差。

尽管音乐和图像的数据不能被直接用来做比较（图像的数据范围在1至100之间，声音的数据范围在1至127或1至128之间，在数值的范围上两者是未经对准的），但是，比较这两种媒介之间的相对差别依然是合理的。例如，假设法国的绘画和音乐中分别提取的测量值各自高于俄国的绘画和音乐，那么将说明可能存在一种或多种力量在影响着艺术，并证实它通过跨媒介转译进入了不止一种艺术形式里。我进行了一系列的测试去比较这些音高和明度数据，并且希望判断出来自这两个国家的样本之间是否有统计学意义上的差别存在。

图5 1850至1920年间法国和俄国绘画作品样本的明度平均值和标准差的分布：俄国均值（a）、法国均值（b）、俄国标准差（c）和法国标准差（d）。各小图中的黑色箭头指示的是估计均值。

图6 1850至1920年间法国和俄国音乐作品样本的音高平均值和标准差的分布：俄国均值（a）、法国均值（b）、俄国标准差（c）和法国标准差（d）。各小图中的黑色箭头指示的是估计均值。

图7 1850至1920年间法国和俄国音乐作品样本的节拍平均值和标准差的分布：俄国均值（a）、法国均值（b）、俄国标准差（c）和法国标准差（d）。各小图中的黑色箭头指示的是估计均值。

T检验法通常用来测试两组数据的平均值的差异是否有统计学意义。如果两组数据的差异程度比预设的参考值更加明显，那就可以认定这两组数组之间有显著性差异。T检验法的统计学假设前提包括：数据偏差是正态分布的，并且两组数据有着相等的方差分布。明显偏离正态分布的数据，则可以通过夏皮尔-威尔克检验法（Shapiro-Wilk test）识别出来，而F检验法可以测试两组的方差之间是否有显著性差异。图5显示了本次研究中绘画样本的明度平均值和标准差的分布，图6显示的是乐曲样本的音高的平均值和标准差分布，图7显示的是乐曲样本的节拍的平均值和标准差的正态分布，两者方差相同。正态性在此只出现在乐曲当中，包括俄国乐曲的音高平均值（图6a）、法国乐曲的音高标准差（图6d）和俄国乐曲的节拍标准差（图7c）。图5c、5d表明法国和俄国绘画样本的方差相同，还显示了这两者的明度标准差的不同，图7c、7d显示了法国和俄国乐曲节拍的标准差之间的同样关系。对于非正态分布的情况，可以使用一些数据转换法（例如对数转换），而且尽管T检验已经足够适用了，也还可以使用Welch的T检验法去测试两组方差不同的数据之间的偏差。或者，还可以使用随机性测试法，比方说把明度的平均值数据随机分成许多组，可以用于测试两组平均值之间的显著性差异。随机性测试方法的好处是不管已知数据是否准确分布都能适用，不像T检验法需要假设数据的方差一致。使用随机性测试的一个更突出的优点是：它是统计学方法论的一种直觉，用非技术性的术语描述起来更容易。这里也使用随机性测试的方法去测量了各组之间的显著性差异，不过，最终结果和T检验（或是Welch的T检验）的结果一致。本研究所有的分析工作都是靠R软件完成的。

为了验证两组数据之间的偏差是否具有统计学意义，各组在多次迭代中被随机分配，这就是所谓的随机取样（排列置换）测试。随机分组的逻辑是为了判定：通过观察各组而得到的数据之间的偏差是否真的大于预期。如果明度平均值之间的偏差和预期的并没有不同，那么此后随机混排组中的数据应该产生组的平均数值也应该和实际观察到的数据差别不大。例如，160幅俄国和法国绘画（各80幅）的明度平均值可以被随机再分配到两个标签中，不是俄国就是法国，那么随着同样的160个数据被随机分到两组中，一个新的数据集合就产生了。假如随机分组后预估的平均值的偏差与观察到的数据的平均值的偏差之间没有很大的不同，就能证明在各组之间，实际数据（法国和俄国绘画的平均明度）的偏差与预期的没有区别。那么，就可以总结出法国和俄国的绘画的明度平均值没有不同。当然，各组数据的分配必须做不止一次的随机排列，才可以充分判定出组与组之间的实际偏差是否比预估的更大。在随后的统计学测试中，各组被随机分配了999次。每一次的迭代分配都计算了组间的偏差。迭代之后，我比较了观察到的偏差和随机分配计算的偏差，目的是为了估测“观察到的组之间的偏差系由随机分配造成”的概率。这也被称为第一类误差，在这个概率的水平上，观察到的数据之间的偏差确实是随机出现的，因而不能代表组间的真实差异。例如，我们假设观察到的数据偏差比随机数据的偏差大得多，估计第一类误差（用P表示）是0.001，即P= 1/（1+999）=0.001，如果观察到的数据仅仅稍大于随机数据中的900个数值，那么P=（1+99）/（1+999）= 0.010。①原文此处的P值算式在算术上不成立，这里根据英文期刊发布的版本改正之。——本刊编者注通常情况下，P的值低于0.05可以表明在组之间有统计学意义上的显著性差异。

在法国和俄国数据之间的三类共六个偏差测试包含：绘画明度的平均值、标准偏差，乐曲音高的平均值、标准偏差，乐曲节拍的平均值和标准偏差。这些偏差测试都使用了随机化测试来估算组间的第一类误差（P）。通过带替换的组内数据随机取样，可以求出组平均值的数据的95%置信区间（Manly，2007）。利用替换，数据重新取样了1000次，并且每个样本的均值都被收集和分类。从低往高排，第25个值被当作较低的可信区间，第775个值被用作较高的可信区间。

三、研究结果

图8至10显示了随机测试的结果，呈现了随机模拟值的分布。图中的箭头指示出了法国和俄国实际绘画和作曲数据的差异。绘画的明度平均值（P=0.001，见图8a）和明度的标准误差（P=0.002，见图8b）之间的差异是有效的，但是乐曲音高均值（P=0.236，见图9a）和标准误差（P=0.113，见图9b）之间的差异则没有意义，乐曲节拍的平均值（P=0.418，见下页图10a）和标准误差（P=0.531，见下页图10b）之间的差异同样没有意义。照此看来，俄国和法国的绘画之间的差别能被解释为有统计学意义，但是乐曲方面则相反，所以，其数据的预估平均值在统计学上被认为是同一的。条形图（图11至16）显示了所有六次测试中的总平均数值的国别差异。图11表明法国绘画的明度均值（预估平均值为59.00）高于俄国绘画（预估平均值为50.28）。图12显示俄国绘画中明度的标准误差（20.66）高于法国绘画（18.47）。图13至16分别表示的是乐曲音高的均值（图13）、音高的标准误差（图14）、节拍的均值（图15）和节拍的标准误差（图16）——在统计上，这些都保持一致。

图8 对绘画样本明度的均值（a）和标准差（b）进行随机模拟测试的结果。数据均迭代999次，黑色箭头指示的是实际观察到的均值和标准差的国别差异

图9 对音乐样本音高的均值（a）和标准差（b）进行随机模拟测试的结果。数据均迭代999次，黑色箭头指示的是实际观察到的均值和标准差的国别差异

图10 对音乐样本节拍的均值（a）和标准差（b）进行随机模拟测试的结果。数据均迭代999次，黑色箭头指示的是实际观察到的均值和标准差的国别差异

图11 绘画明度总均值的国别差异。样本数法国80，俄国80。误差棒指示95%置信区间

图12 绘画明度标准差的国别差异。样本数法国80，俄国80。误差棒指示95%置信区间

图13 音乐音高总均值的国别差异。样本数法国77，俄国76。误差棒指示95%置信区间

图14 音乐音高标准差的国别差异。样本数法国77，俄国76。误差棒指示95%置信区间

图15 音乐节拍总均值的国别差异。样本数法国77，俄国76。误差棒指示95%置信区间

图16 音乐节拍标准差的国别差异。样本数法国77，俄国76。误差棒指示95%置信区间

四、扩展讨论

从我收集来的这160幅画作中，可以推断俄国的画作颜色很明显更深一些，并且比起法国的画作，俄国画作明显有一个更大的明度值范围。从我收集来的153部乐曲中，可以看出俄国和法国的音乐在音高之间没有重大的区别。这些结果可能是由多重的隐性因素导致的。这些因素可能是因为明度和音高的关系而仅仅体现在个体当中，而不影响整个的艺术运动，也有可能是在1870年至1920年间有很强的跨媒介影响的因素，对大范围的视觉艺术和音乐活动产生作用，但是它并没有强到足以显示音高和明度的关系。不过，我们还可以考虑其他的超感官知觉因素。

俄国与法国视觉艺术中明度的不同，体现出了两国艺术家不同的艺术追求。在多种颜料中各添加同样的白色或黄色后，会对光色的亮度有一种整体的影响（提高画作的整体明度）。在许多法国绘画中，纯色当中添加白色或黄色（通常是两者混合）是为了使色度与光度之比最大化。在绘画中，这样的做法可以强化较亮部分的光线效果，观赏者可以体验到一种势不可挡的明亮感。当最亮的光线和最暗的部分之间的数值保持在一个相对较小的范围内时，画作就拥有一种强烈的氛围，好像观者自身与影子都浸透在阳光下一样。当较少使用白色时（数值较低），颜色会有较强的浓度感，给观者一种戏剧感。俄国的视觉艺术作品中，描绘天空的颜色可能是直接从蓝颜料管里挤出来的。所以，法国的绘画表现了强烈的光感（依靠大量的白色和黄色营造出来），俄国的绘画则表现了一种强烈的浓度感（通过使用纯色来营造）。画家们使用这些方法在他们的作品中营造抽象的明亮感，但传达着不同的意义。同时，每一种方法都创造出很自然的效果。法国的画家们在光中添加白色和黄色，所以在表现阴影时可以用较强烈、纯粹的颜料和亮处形成对比，但是白色和黄色也会降低色彩的自然饱和度。俄国画作的亮色中不添加白色和黄色，所以保持了较高的饱和度，不过这种做法使得画面中较暗的部分不能使用较纯的色彩，结果导致暗部饱和度较低。尽管两国之间有这种手法上的分歧，但在颜色的选择中，哪一方的技巧都能保持一种效能（potency）上的平衡。

不同于饱和度，人类对声音的敏感性往往体现在音乐中，并且对音高和音色都很敏感。人类的耳朵可以适应的乐音的频域大概有十个八度宽，并且可以很容易识别出传统大型乐队的音调或是现代钢琴的音。现代钢琴的音域稍宽于七个八度，而大部分现代管弦乐队可以跨越六个八度，并且每件乐器都有各自不同的音域。大部分现代的合唱团音域稍窄于四个八度。另外，人类听力可适应的音高范围不包含那些难以被人耳接受的音，也不包含那些难以被分辨的音。就其本身而言，在使用人耳可适应的乐音时，不会有音乐效能上的损失。在法国和俄国的美术通过不同的方法实现饱和度和明度的平衡时，在音乐方面，哪怕是最大限度地强化音高的力量，也不需要使音乐效能有所让渡。

在一种文化当中混合其他不同文化的艺术元素的做法，不仅仅体现在艺术品种之间，也体现在国家之间。前文提到过，俄国巡回展览画派曾被鼓励去积极地了解西欧艺术家们的风格（包括法国，这些艺术家们都被俄国的艺术家们激发了灵感并且努力去和他们保持区别），但克拉姆斯柯伊后来又坚持认为俄国艺术家有必要用批判的眼光看待法国艺术，目的是使俄国艺术的美学理念和欧洲其余国家完全区分（Valkenier，1975）。相反，法国的作曲家例如德彪西和拉威尔都被指出直接受到了俄国作曲家作品的影响（Meyers，1958）。除了前文提到的《萨特阔》的演出，1878年还有格林卡、柴可夫斯基、达尔戈梅日斯基（Alexander Dargomizhsky）、塞洛夫（Alexander Serov）等俄国音乐家的作品在巴黎被演出（Meyers，1958）。

另外，哲学和政治的因素也有可能造成这些差异。音乐的可移植性，让音乐理念和乐音比视觉艺术有更强的交叉传播能力，而视觉艺术只能在给定的时间内存在于特定空间里。即使克拉姆斯柯伊鼓励巡回展览画派去研究和学习西欧的艺术与历史，但是画家们仍然需要去法国旅行才能看到那个时期法国的“当代艺术收藏品”。然而，同一首乐曲可以在两个城市同时被演奏，而且不会有任何的信息缺失，所以，音乐的传播比美术要更加容易。正因为这些特点，音乐才可以比美术更自然地分享更多的跨文化相似性。

音乐的可移植性还引出一个有趣的理念：假如音乐比视觉艺术更容易在多种文化之间传播，那就可以证明，在那个难以复制美术作品的年代里，音乐可以作为一个跨感官的信息渠道去影响其他艺术品种和艺术家们。举例来说，一首乐曲会直接受到视觉艺术的抽象观念以及跨媒介的艺术品质的影响，而这些观念和品质可能是从另外一个国家获得的，并且那个国家的音乐有可能会影响那里的视觉艺术。这可以称作“交叉授粉”（cross-pollination）现象，也就可以解释法国与俄国美术相似性的滞后现象，即他们的画作在明度数值及其标准差上的同质化发生得相对较晚的问题。

五、结论

哈森夫斯展示过的一些实例说明，从来没有受过艺术方面训练的大众也具备分辨特定时期的艺术运动中的跨媒介作品的能力。他认为，经过足够的抽象处理之后，就可以在多种感官中比较这些作品（Hasenfus等，1983）。然而，我的研究结果证明，不能将明度-音高的抽象联系看作音乐与美术的内在区别中的唯一指标，也不能说其他跨媒介抽象的要素没有作用。在探查一些根本性的品质（比如标题内容、装饰物、某些常用套路的频率）之外，探查其他的抽象要素可能也会有用。如果这些内容可以被量化，那么我所使用的统计学方法同样可以用来测定其中的重要含义。

虽然我用的这个模型只研究了一小段时间内两个特定地区的音乐和美术，但是在更长的时间范围内，无论是跨媒介相似性出现得更强还是更弱，也应该都可以运用这个模型来探索。这个模型适用于不同的时间和样本群体，去判定它们之间是否被优先考虑的、相似的抽象要素出现。比如为瓦格纳的“综合艺术”（Gesamtkunstwerk）进行推广的捐助者们。而当一个时期内存在一个普遍的信条或灵感（比如政治运动或是激进主义）时，这个模型可以用来探测这些信条和灵感是否在以同样的方式出现。当探测某个区域和某个时间范围内的音乐和美术之间是否有着一种较强的联系时，该模型产生的结果可能会指示出那个时间段内相似的艺术思维的多种实例化表现。这个模型当中的视觉部分，也可以用来观察法国和俄国美术现今存在的差别，探测它们是否仍然在明度方面有偏差，尽管目前艺术的全球化进程已在不断展开。

技法和技术给予视觉艺术与音乐在相异的艺术风格和主题方面的成长，两者都经历了各自的发展历程。而多米诺展示的例子（1989）证实，现今在艺术领域内，有联觉者相当常见，并且大部分的联觉艺术家现在非常活跃，还公然将其他媒介融合到他们的创作灵感中。本文使用的这个模型是一个测量工具，可以确认明度和音高的跨媒介抽象性是否影响到了艺术家们的选择，并且这些选择是否在最终作品和创作灵感之间保持了一致。

Beck,E.M.1999.Marchetto da Padova and Giotto’s Scrovegni Chapel frescoes.Early Music27：7–23.

Beck,E.M.2005.Giotto’s Harmony：Music and Art in Padua at the Crossroads of the Renaissance.European Press Academic Publishing,Florence.

Berman,G.1999.Synesthesia and the arts.Leonardo32：15–22.

Deroy,O.,and C.Spence.2013.Why we are not all synesthetes（not even weakly so）.Psychonomic bulletin&review.

Domino,G.1989.Synesthesia and creativity in fine arts students:an empirical Look.Creativity Research Journal2：37–41.

Galeyev,B.M.2003.Evolution of gravitational synesthesia in music:to color and light.Leonardo36：129–134.

Galeyev,B.M.2007.The nature and functions of synesthesia in music.Leonardo40：285–288.

Hasenfus,N.,C.Martindale,and D.Birnbaum.1983.Psychological reality of cross media artistic styles.Journal of Experimental Psychology:Human Perception and Performance9：841–863.

Hubbard,E.M.,and V.S.Ramachandran.2005.Neurocognitive mechanisms of synes thesia.Neuron48：509–20.

Ione,A.2009.Synesthesia:art and the mind.Leonardo Reviews42：267–270.

Ione,A.,and C.Tyler.2004.Neuroscience,history and the arts.Synesthesia:is F-sharp colored violet?Journal of the History of the Neurosciences13：58–65.

Janson,H.W.1968.A history of art and music.Prentice-Hall, Englewood Cliff,NJ.

Kandinsky,W.1911.Concerning the Spiritual in Art.1977th ed.Courier Dover Publications,New York,USA.

Klapetek,A.,M.K.Ngo,and C.Spence.2012.Does crossmodal correspondence modulate the facilitatory effect of auditory cues on visual search?Attention,perception&psychophysics74：1154–1167.

Köhler,W.1910.Akustische Untersuchungen.Zeitschrift fiir Psyehologie2：58,59–140.

Köhler,W.1947.Gestalt Psychology.2nd ed.Liveright Publishing,New York,New York,USA.

Krzywinski,M.2006.The image color summarizer.

Manly,B.F.J.2007.Randomization,Bootstrap and Monte Carlo Methods in Biology.3rd ed.Chapman and Hall,Boca Raton,FL.

Marks,L.E.1975.On colored-hearing synesthesia:crossmodal translations of sensory dimensions.Psychological Bulletin82：127–41.

Maurer,D.,T.Pathman,and C.J.Mondloch.2006.The shape of boubas:sound-shape correspondences in toddlers and adults.Developmental Science9：316–22.

McDonald,F.2006.Bringing out the contours.Australian Art Review,76–78.

Meyers,R.H.1958.Claude Debussy and Russian Music.Music&Letters39：336–342.

Miller,S.S.1959.Visible deeds of music:Art and music from Wagner to Cage.Yale University Press,New Haven and London.

Ramachandran,V.,and E.M.Hubbard.2001.Synaesthesia a window Into perception,thought and language.Journal of Consciousness Studies8：3–34.

Ramachandran,V.S.,and E.M.Hubbard.2003.Hearing colors,tasting shapes.Scientific American288：53–59.

Valkenier,E.K.1975.The Peredvizhniki and the spirit of the 1860s.Russian Review34：247–265.

Vergo,P.2012.The Music of Painting:Music,Modernism, and the Visual Arts from theRomantics to John Cage. Phaidon.

Wallen,L.P.2012.A grammar of space-drawing the intersections of exhibition,media,performance,and architecture. Doctor of creative arts.University of Wollongong.

（责任编辑：魏晓凡）

本文原题为“Do Music and Art Influence One Another？Measuring Cross-modal Similarities in Music and Art”（本刊编加时有改动），系美国艾奥瓦州立大学（Iowa State University）2013年硕士学位论文（论文编号：13163），收存于该校的数字知识库（Digital Repository）。此文的修订版后来发表于《博学：跨学科艺术与科学杂志》（Polymath：An Interdisciplinary Arts and Sciences Journal）第5卷（2015年）第1期，该期刊版本以原学位论文作者为第一作者，增署当时来自英国阿伯丁大学（University of Aberdeen）的第二作者亚历山大·布拉德雷·杜希（Alexander Bradley Duthie）。两个版本均为英文，但原期刊版本在行文和插图选用上略有增删。这里的译文正文是根据2013年的学位论文版本编译的，摘要则是本刊编者根据英文期刊发布的版本编译的（略有删节和补充，关键词系本刊编者所加）。承蒙原作者和原载期刊授权刊登。

阿曼达·凯瑟琳·杜希（Amanda Catherine Duthie），美国艾奥瓦州立大学2013届艺术硕士毕业生，现为独立艺术家、教师、合伙人。

王兴宇，中国传媒大学协同创新中心脑科学与智能媒体研究院艺术与科学专业2015级硕士研究生，主要研究方向为艺术虚拟现实与互动。