心电信号在交互影像设计中的应用研究

王翔宇　黄晶石

摘要：目的：当代科技和经济的迅猛发展引发了人们对设计作品中交互性体验和情感互动的高需求，设计领域开始探索如何将反映个人情感状态的心电信号融入交互影像设计领域。文章的研究目的在于深入了解基于心电信号的交互影像设计，探索其对视觉体验的新维度和人们情感互动需求的满足程度。方法：文章主要从心电信号的三种可视化表达出发，即心电信号原始信息的可视化、心电信号转译信息的可视化和融合心电信号信息的综合性可视化，着重研究其在具体案例中如何深入理解观众的情感、情绪和生理状态，并提供更加个性化、引人入胜的互动体验。结果：通过分析交互影像设计案例中对心电信号信息的处理和艺术表现形式，深入剖析这三种设计类型在心电信号利用、用户参与度、情感化表达、艺术呈现形式等方面的特点。文章的重点在于呈现这些设计类型的优势和局限性，以及它们在满足用户情感需求和提升艺术表现力方面的潜力。结论：研究结果验证了心电信号在交互影像设计中的可行性，强调了融合心电信号的设计方法不仅能够提高用户参与度，还能够丰富情感表达和艺术展现形式。未来，这些设计方法将为交互影像设计，尤其是在个性化体验、情感共鸣和深度互动方面带来更多可能性。

关键词：心电信号；交互影像；情感化表达

中图分类号：TP391.9 文献标识码：A 文章编号：1004-9436（2024）05-0-03

1 交互影像设计概述

交互影像设计作为融合技术创新与艺术表现的前沿领域，开启了信息传递方式的全新范式［1］。不同于传统的单向信息传递，交互影像设计致力于通过多元化的互动方式和内容，构建作品与用户之间双向互动的沟通渠道。这种双向互动不仅仅是技术上的创新，更是对用户参与感的强化，将用户置于信息传递的主体位置，并满足其在情感层面的需求［2］。

在交互影像设计中，交互方式是连接作品与观众的纽带。多样化的技术手段使观众能够以更直接、更即时的方式与作品互动。身体互动是其中较为常见的一种方式，即通过观众的身体动作、手势或触摸，作品能实时产生变化与回应，这种即时性的互动提高了观众的参与感。同时，声音互动是交互影像设计的一大亮点，观众可以通过声音的变化来影响作品的展现形式，在音与像的互动中探索更多可能性。

交互影像设计将观众从传统的被动观赏者转变为积极参与者，赋予他们探索、影响和塑造艺术作品的机会。如今，为了满足观众对交互性体验和与作品进行更深层次的情感互动的需求，不少设计师开始从观众的生理状态入手，将观众的生理信号与设计作品相融合。研究表明，在情绪唤醒和情感共鸣方面，心电信号这一生理信号更加符合在交互体验过程中观众的需求［3］。可见，心电信号的引入不仅仅是技术上的创新，更架起了情感交流的桥梁。通过监测心电信号，作品能更准确地捕捉观众的情感波动，进而呈现出更符合观众情感共鸣的展现形式。这种情感共鸣的加深不仅能够满足观众对深度交互的期待，而且能够丰富交互影像设计的表现形式。

2 心电信号的特征及其情感化表达

心电信号是记录人体心脏电活动的一种重要的生物信号。它能够捕获并表现心脏在每个心动周期的电生理变化，展示起搏点刺激心房肌、心室肌收缩和舒张的电流传导过程。在标准心电图波形中一共包含4种主要波段：P波段、QRS复合波段、T波段和U波段。每一种波段都对应着心脏在特定阶段的电活动和生理变化。研究表明，人的情绪状态可以通过心率和心率变异性来分析和描述［4］。通过计算R波的变化，可以推导出心率的变化。强烈的情感，如兴奋、紧张或焦虑等，通常伴随着心率的上升，这是身体应激反应的一部分，为了应对挑战或威胁，心脏会加速供应氧气和能量。而在情感愉悦和放松的状态下，心率通常会降低，这是因为人体在愉悦状态下更倾向于放松和平静。

基于ECG的R-R间隔节律计算可以推导出心率变异性指标。心率变异性也可称作HRV，HRV是心率在不同时间点之间的变化，通常反映自主神经系统的活动。较高的HRV通常与愉悦、轻松和情感适应性相关，而较低的HRV可能与焦虑、紧张相关。对HRV信号进行谱特征分析，可以得出LF和HF的值，通过对两者的计算，可以评估交感神经与副交感神经的优位性。因此，利用心电信号可以实时表现个体情感的特征，将其用于交互影像设计中，可以拉近作品与观众之间的距离，观众可以利用自己的心电信号与设计作品互动，甚至可以实时创作作品内容，成为这个作品的创作者之一。这不仅能提升参与感和用户体验，还能拓展用户交互的深度，同时为交互影像设计领域带来新的交互方式。

3 融合心电信号的交互设计形式

基于心电信号的交互影像设计流程主要包括三个关键步骤：信号采集、数据处理和数据可视化。在信号采集阶段，系统需要获取心电信号的数据，这需要通过心电传感器进行。一旦数据被采集，计算机就会对数据进行处理。这个阶段包括数据清洗、分析和转换，以确保數据准确可靠。数据可视化是设计过程中的关键环节，涉及将经过处理的心电信号数据转化为可视化的形式。从设计表现来看，可以分为心电信号原始信息的可视化表达、心电信号转译信息的可视化表达和融合心电信号信息的综合性可视化表达。

3.1 心电信号原始信息的可视化表达

心电信号原始信息的可视化表达是以心电信号的可视化为基础向观众呈现一种新型交互体验。这种设计融合了心跳特征与视觉内容，能直观呈现心率节奏，让观众身临其境感受心跳的律动。这种直观的节奏表达不同于传统艺术的静态呈现，而是将观众的心率转化为动态视觉变化。观众不再是旁观者，而是作品的一部分，能够感知自身的生理律动，从而产生更紧密的联系。

心电信号原始信息的可视化表达探索起步较早，Cube Life是Dave Everitt和Greg Turner在1999年创作的作品［5］，作品唯一的输入是观众的心电信号，这些心电信号数据用于触发声音并生成带有魔方结构的图像。每个魔方对于创建它的观众来说都是独一无二的，并且能够根据观众的心跳数据在虚拟空间移动，与心跳的节奏保持一致。尽管在相同的脉冲下，得到的立方体是相同的，但生理反馈意味着观众变得更加投入，一些观众为了改变魔方的移动速度和方向尝试让自己的脉搏速度减慢，或者跳来跳去以加快脉搏速度。Cube Life的检测设备操作简单，包括一个夹子，可戴在手指（或耳垂）上，内部有一个心电传感器，用来测量心电的变化。如果观众在交互后摘下设备，屏幕中的魔方就会慢慢消失，直到下次输入才会重启。

Cube Life是比较早期的实践作品，其将心电信号融入作品交互中，并在建立观众和作品全新关联方式的同时，展示了心电信号在交互影像设计中不同寻常的表达形式，给观众带来了全新的体验，具有划时代的意义。然而，这种具有参与感的体验在于观众的互动，如果观众未提供心电信号输入，作品就无法展现其独特魅力。同时，基于此类的作品会强调技术和心电信号，从而忽视其他艺术要素，如更深层次的情感表达、艺术创意和审美等。设计师专注于获取和直白地表达心电信号，而没有在创作过程中将心电信号和设计元素进行情感化的融合，从而导致作品显得过于机械和冷漠。

3.2 心电信号转译信息的可视化表达

心电信号转译信息的可视化表达是一种深度个性化的设计形式，因为它不只是简单呈现心电信号的变化，而是将这些变化转化为观众可以从中感知情绪的形式。在这样的作品中，观众的心电信号不仅仅是一个输入信号，更是一种情感和情绪的载体。通过解读和分析观众心电信号，系统可以产生相应的视觉、音乐或物理上的变化。例如，图像的形状、大小和颜色可能随着心电信号的变化而变化，音乐的节奏或音量也可能随之调整。这些变化并不是孤立存在的，而是能与观众的情绪相呼应，呈现出与情感相关的内容，引发观众内心深处的共鸣。在这种情景下，观众成为作品的共同创作者。他们的情感和情绪变化，通过心电信号的反馈，与作品形成一种双向互动。通过实时解读和反馈心电信号，作品能够更加准确地捕捉观众的情绪变化，并将其转化为可感知的形式，这种形式能使观众进一步投入作品之中，获得更加深刻的体验。

2016年，设计师Bin Yu和视觉艺术家Rogier Arents合作开展了一个项目［6］，利用笔式绘图仪实现了心电信号转译信息的可视化表达。在这个项目中，生物反馈技术与视觉艺术相结合创造了一种全新的绘画过程，它由参与者的心脏活动驱动，而心脏活动又受到其精神、身体和情绪状态的影响。这个项目以心电信号为基础，重新定义了情感表达的方式，将观众的情感和内在状态转化为艺术作品的元素。作者使用花朵图像作为视觉隐喻，将心率变异性（HRV）可视化为花朵的形状。在这个项目中，每个花朵图案都代表一个人心跳数据的独特性，不同的线条波动代表参与者在与作品交互时不同的活动情感、身体状态或行为，如安静放松、进行体育活动、大笑和深呼吸等。由于心跳活动与人类的经历和感受密切相关，因此这些生物反馈绘画实际上反映了人的“精神状态”。

心电信号转译信息的可视化表达能够增强观众与作品之间的互动和情感联系，这主要体现在心电信号的反馈上，根据观众情绪状态改变设计元素，以反映观众的情感状态。这些设计的成功之处在于激发了情感共鸣，使观众能够积极参与并在情感上获得强烈的个人感受。案例突出了心电信号作为一种情感表达工具的潜力，以及如何将生理数据转化为艺术作品元素，进一步深化了观众与作品之间的联系。

3.3 融合心电信号信息的综合性可视化表达

随着学科交叉和多领域融合的不断推进，基于心电信号的交互影像设计逐渐成为艺术创作与科技创新的结合点。这种设计逐渐向其他领域延伸，形成了综合性更强的艺术表现形态——将心电信号信息融入综合性可视化表达的范畴。融合心电信号信息的综合性可视化表达，不仅仅是为了展示观众心电信号的情感可视化，更在于向观众提供一种参与并影响作品的交互体验。它使观众成为艺术创作的参与者。这种设计赋予了观众更多的控制权和参与感，他们可以通过自身的心电信号与艺术家共同创作作品，甚至在一定程度上改变作品的叙事方向。在舞台表演领域，这种设计的突出表现尤为引人注目。

舞台表演本身就是一种综合性艺术，而融合了心电信号的交互影像设计为表演注入了新的元素和维度。Moe Sugawa和Taichi Furukawa等人在2021年进行了一次名为“Boiling Mind”的舞台表演［7］，这场表演将观众的心电信号的情感化表达融入了审美创作的过程中，为观众带来了一场前所未有的艺术体验。这不仅仅是一场表演，更像是观众与表演之间的一次共同创作。在此表演中，观众的情感状态成了表演的一部分。通过改变舞台元素，包括投影、声音、灯光等，观众的心电信号被巧妙地融入表演之中。这种表演方式不仅仅是将观众的生理状态呈现在舞台上，更是将观众的情感、情绪与舞台元素有机地结合起来。同时，表演者成了观众情感的“反应者”。通过整个舞台的投影，表演者能够看到观众心电数据的变化，并据此调整自己的表演。他们通过观察观众的心态，调整自己的动作和表演节奏，营造出更加温和或更加激烈的氛围，讓观众产生共鸣。整个表演构建起了一个令人惊叹的反馈循环，观众的情感状态通过心电信号传达给表演者，表演者据此调整表演，并再次影响观众的情感状态，形成了一种连续的互动。这种互动不是一种单向的呈现，而是一种双向的表演与观看，创造了一个艺术体验的交织网络。

这一表演是一次对传统表演模式的大胆颠覆。它将观众从旁观者转化为参与者，让他们的情感和情绪成了表演的一部分。这种表演形式不仅为观众带来了前所未有的身临其境般的体验，更是将艺术和科技融合，开创了一种全新的艺术形式。融合心电信号信息的综合性可视化表达为交互影像和舞台表演带来了新的可能性，使观众能够与舞台表演有更深入的互动。

4 结语

基于心电信号的交互影像设计在表现形式上正经历一场深度变革，其交互形式从最初简单的信号可视化到与表演内容结合的实时交互，复杂性和融合性不断加深。在此过程中，心电信号不仅仅用于监测用户的状态，更参与了实时互动的创作，推动了科学、艺术和技术的有机结合，提供了更深层次、更有趣和更易引发情感共鸣的互动体验。此外，跨领域的合作与融合将促成交互设计朝着更具创新性的方向发展，基于心电信号的交互影像设计也将渗透到更广泛的设计领域，如娱乐产业中的游戏、虚拟现实和影视制作，甚至是教育领域的创新教学方式。这种融合将探索出更多新的应用场景，有助于深化人们对基于心电信号的交互影像设计的认识和使用，对未来的科技创新和人机交互方式具有深远的意义和影响。

参考文献：

［1］ 马晓翔，孙为.数字媒体艺术概论［M］.南京：南京大学出版社，2022：241.

［2］ 杨超.新媒体环境下的影像交互发（下转第页）

（上接第页）展研究［J］.西部广播电视，2022，43（16）：42-44.

［3］ 克劳迪奥·马特拉，艾金·格迪克，卡布雷拉·基罗斯 L，等.它怎么样？利用智能手机传感来测量观众对现场表演的隐含反应［C］//第23届ACM国际多媒体会议论文集.纽约：计算机协会，2015：201-210.

［4］ 易慧，陈瑞娟，邓光华，等.基于心率变异性的情绪识别研究［J］.生物医学工程研究，2020，39（2）：128-132

［5］ 埃德蒙兹·E，埃弗里特·D，麦考利·M，等.论生理计算在交互艺术中的应用［J］.与计算机交互，2004，16（5）：897-915.

［6］ 余波，阿伦特斯·R.生物反馈绘画：让心引领画笔［J］.列奥纳多，2020，53（5）：504-509.

［7］ 菅川萌，古河地面，G.切尔尼绍夫，等.沸腾的心灵：通过心脏和皮肤电活动的可听化和可视化来增强观众与表演者的联系［C］//第十五届有形、嵌入式和具体交互国际会议论文集.纽约：计算机协会，2021：1-10.

作者简介：王翔宇（1998—），男，上海人，硕士在读，研究方向：数媒与影像数字化。

黄晶石（1980—），男，辽宁沈阳人，博士，讲师，系本文通讯作者，研究方向：生理人类学。