钢琴自动弹奏机械手系统及其控制算法设计

魏新宇

摘 要：在机器人控制理论和钢琴演奏技法的基础上，文章提出了一种通过在机械控制、电磁控制、软件控制等层面对钢琴自动弹奏系统进行综合设计优化的方法，并设计了一种基于可控力度的琴键击锤系统，以实现钢琴的机器人自动弹奏。研究结果表明，在应用机械手弹奏系统时，50名音乐学院钢琴专业本科四年级学生中，有26人认为该机器人的演奏技法达到或者超过了他们的技法掌握程度，占总数的52%。另外，音乐厅邀请的50位专业资深钢琴教师中，有22人表示该机器人的演奏水平达到了商业演出标准，占总数的44%。虽然该机器人在情感表达上尚有不足，但已经得到了较大比例听众的认可。

关键词：自动控制;机器人钢琴;自动弹奏;力度控制;主观评价

中图分类号：J624.1 文献标识码：A 文章编号：2095-9699（2023）06-0032-06

早期电子音乐来自MIDI合成技术（MusicalInstrument Digital Interface），该技术通过电子合成音源，控制扬声器同时发出多个频率声音，拟声合成相应的音乐旋律。后期MIDI合成技术通过不断发展，在前者的基础之上可以进行不同力度、揉弦等乐器演奏技巧的音乐表达效果高保真还原。但是MIDI合成技术最大的短板是其没有原始音源设备，在极端演奏条件下其合成音源的保真度依然不尽如人意，并且无法达到真实乐器的低频共鸣带来的重低音效果，也无法表现出不同乐器因为共鸣腔结构微小差异而带来的听觉感官差异。所以音乐从事人员和研究人员找到了新的解决问题思路，即使用机械手系统直接弹奏乐器，且该思路已经成为当前电子拟声音乐的研究重点[1]。

杭小羽等[2]研究人员以儿童钢琴学习为主要研究对象，分析个性化教学对儿童钢琴学习欲望的作用，明确个性化教学价值，提高儿童钢琴学习效果;余嘉安等[3]研究人员基于人工智能时代背景下，合理应用人工智能技术，创新高校钢琴教学模式，优化教学流程，提高教学效果;杨小影等[4]研究人员通过“智能+钢琴”教育构想，使用全新设计的机械手硬件系统，配合相关算法，实现了对人手演奏的相关触感、力度及常见弹奏技法的模拟，改变了早期研究中只可对节奏进行有效控制的系统缺陷，使机械手的钢琴弹奏效果更接近人手，且因为机械手为每个琴键均配置对应击锤，有效拓展了人手手指数量的限制。

从钢琴演奏模式分析，其属于按键式击弦乐器，且有弱音（落下弱音板）、延音（抬起切音板）等功能模式。受限于手指生理構造限制，人手演奏时手指的岔开距离限制了和弦音的表达方式，在弹奏大跨度四联和弦音时，局限性即被表现出来。使用机械手系统可以为每个琴键布置专用击锤，且对钢琴的多个功能踏板布置按压装置，这就让钢琴的实际表现能力得到有效提升。文章重点研究琴键击锤的机械控制模式和音乐解码模式，以进一步提升钢琴弹奏机器人的实际演奏效果。

1 琴键击锤的机械控制模式设计

从机械原理分析，钢琴琴键按下时，并非直接作用于琴弦，而是根据按下力度和时间，由打弦机判断控制击弦锤和止音器对琴弦作出相应操作。打弦机由一系列连杆滑块机构构成，不同品牌和价位的钢琴，打弦机结构有所差异，但基本保证按下琴键时，止音器抬起，击弦锤落下并迅速复位，抬起琴键时，止音器复位。该机械手操作一个外部击锤以不同的弹奏手法击发琴键，触动打弦机操作。此时应该严格控制机械手击锤按下的力度和抬起的时间[5]。上述机械手琴键击锤与打弦机的联合控制模式，如图1所示。

图1中，机械手控制模组共有2套结构，当提键电磁组通电时，琴键击锤被提起，弹簧片蓄力，当其断电时，琴键击锤在弹簧片的蓄力释放作用下落下，敲击琴键。根据弹簧片的预应力状态不同，琴键击锤敲击琴键后，可能因弹簧片地正校核而直接弹起，也可能因为弹簧片地过校核而始终按压琴键并等待提键电磁组的下一次通电作用。弹簧片的预紧力通过承力支点后部的力度电磁组吸引弹簧片尾端的力度永磁体来实现。早期的钢琴弹奏机器人，使用螺杆定位法控制击锤弹簧片的预紧力，但其受制于步进电机的转速而有较大的力度调整延迟时间，演奏需要快速调整力度时，此模式无法提供快速响应功能[6]，所以，该设计将螺杆系统转为力度电磁组系统，该系统采用给不同电磁组通电的方式，快速调整弹簧片力度，使其的响应速度高于人手的响应速度。上述机械手控制机构中最复杂的部分为力度电磁组部分，其结构图局部放大后，如图2所示。

图2中，共给出7种不同力度，其中±0、-1、-2控制了琴键击锤的弹性抬起过程;1、2、3、4控制了琴键击锤的持续按压过程。7个电磁装置呈扇形安装在一个回转机构上，该回转机构在步进电机的控制下，可以做出小角度回转，以实现对按键力度的高精度微调[7]。上述琴键击锤的力度电磁组功能定义，如表1所示。

表1中，通过按键力度步进电机进行精确定位，在对应的力度电磁组中选择某个电磁阀通电实现对按键击锤弹簧片力度永磁体的吸引并设定按键力度。松开提键电磁组后，实现琴键激发，同时控制提键电磁组的复电时间，控制琴键提起。

2 机械手的电控模式设计

该机械手的核心控制目标是控制88个琴键上配置的88个琴键击锤。常规的钢琴配置，分为88键、85键、83键、65键、92键等，其中88键布局（含52个白键和36个黑键）是最为常见的钢琴键盘布局[8]。该研究针对88键布局进行电控模式设计。根据前文分析，为了实现对琴键击锤的控制，每个琴键击锤的机械手控制模组中共包含8个电磁铁阀组（7个力度阀和1个提键阀）和1个步进电机。电磁控制阀通过1个数据位控制，步进电机通过4个数据位控制，控制过程共使用12个数据位[9]，控制系统详见图3。

图3中，步进电机控制器中的控制模块包括电磁控制阀（每个琴键击锤配置8 个，共704个）和解码模块（每个琴键击锤配置1 个，共88个）。

（1）电磁控制阀设计思路。电磁控制阀的核心控制思路是通过大容量电容器控制电磁绕组的瞬时力度。首先晶闸管接收控制信号后，将电磁控制阀释放。在释放过程中，电容器的充电状态不应中断。

此时，Dt-IN 的高电平为+3.3 V，VCC保持+12V 供电，GND给出±0 V 参照零电势。当晶闸管激发时，VCC和电容器同时向电磁绕组输出电量，控制阀连通从电磁绕组尾端接地到电容器负极侧接地的回路。在回路上布置一个保护电阻器，保护电阻和电磁绕组的阻抗同时提供电磁吸合回路负荷。此时，从Dt-IN 到VCC 的单向二极管并不导通，但可以为其下方的反向晶闸管主回路提供保护电流回路，防止较大功率和杂波将晶闸管击穿。此时电容器作为高频杂波的滤波电容[10]。

综上，该电磁控制阀的核心作用是当Dt-IN输入一个+3.3 V 高电平时，Dt-OUT输出一个+12 V 高电平;当Dt-IN 恢复±0 V 或-3.3 V 低电平时，Dt-OUT 处于开路浮空状态。该模式实现了对复杂电磁阀组的高速模式切换控制，且保持了系统的可靠性和安全性。

（2）解码模块设计思路。解码模块接收一组8位的地址码、1位的触发码和16位的数据码。当8位地址码与跳线配置结构一致时，对状态锁存器写入信息。当触发码置于高电平时，执行锁存器动作。解码模块的核心设计思路是接收中央控制器发出的琴键击锤信号并将其翻译为控制器可识别的电控信号[11]。

因为每个琴键击锤的控制信号均较为复杂，传统模式下，每个琴键击锤都应有独立的嵌入算力进行单独控制，但此举容易因为时钟偏差而造成节奏偏差。所以，该解码器的控制时钟应与中央控制器保持一致。

（3）接地线分层。为了增加控制精度，该系统的接地分为：做功接地，提供所有电磁绕组的0～+12V 做功电流的接地回馈;信号接地，提供0～+3.3V 控制信号的接地回馈，该信号接地与中央控制器嵌入算力系统的GND引脚相连，确保其信号地0电势与中央控制器0电势相等;安全接地，提供控制系统外壳的安全接地，确保内部电磁屏蔽环境，为整个系统运行提供可靠性保障措施[12]。不同线路板之间的接地耦合模式，通过杜邦线连接实现。

3 软件控制模式设计

3.1 系统控制模式

该系统软件控制的核心目标是将乐谱信息翻译成硬件系统可以识别的控制信号，即对乐谱中每个音符进行分解[13]，形成如下表2所示的数据结构。

在表2中，每行可执行命令都包含96字节的有效信息。每个命令分段之间使用4 bit的分隔符（H1001）進行分隔，命令前使用8 bit的起始符（H10101100），命令后使用8 bit 的终止符（H00111010）。因此，每行命令的最终存储占用量为144 bit。由于每条命令只能实现一次琴键抬起或者落下，实际控制中，每一次按键需要两条命令组合完成。因此，在实际操作中，每次按键需要占用288 bit的存储空间。按照常规的16乐句（64小节）乐谱计算，常规演奏条件下，按键次数可以达到3000～7000次。当这个乐谱被编译为可执行文件后，长度约为108 KByte～252 KByte。为了充分发挥机器人演奏的自由度，在“炫技”的条件下，每16乐句的按键次数可能超过20 000次，此时，可执行文件的长度约为720 KByte。这些数据量都在嵌入系统的控制范围内[14]。

在表2中，除了时间戳和校验分段外，其他控制分段的定义如下：

（1）动作琴键序号，控制该命令对应的琴键。在常规操作下，同一节拍下可能同时触发3～8个琴键，每个琴键有不同的触发力度和按压延迟，以实现两声部和弦控制。所有指令会被硬件部分的解码模块锁定在锁存器中，在时钟计数模块的触发下，这些指令会同时向执行机构释放电信号。

（2）力度控制和辅助力度控制，用于控制弹簧片的张紧力度。在常规演奏下，辅助力度控制的步进电机动作并不频繁。这个控制过程也会在锁存器触发的情况下进行。

（3）激发状态，控制提键电磁阀组。例如，当需要大力度弹性重击琴键时，提键电磁阀会在释放瞬间同时加电。这样，即使落下的击锤被弹簧片的高蓄力按下，也可以在触发琴键的同时被收回。在常规控制模式下，特别是在轻微力度控制下，提键电磁阀组，一般可以在两个节拍中间或者下一次触发之前进行提键操作。

（4）命令种类与校验码联合控制命令的完整性。其中校验码运行在物理层，控制所有数据位的奇偶性;而命令种类运行在逻辑层，判断上述命令中的命令构成是否与命令种类给出的代码一致。

3.2 系统控制算法设计

综合上述分析，在系统控制算法的设计中，该系统控制算法的神经网络共有12个双精度浮点变量（Double格式）输入，6个双精度浮点变量和1个逻辑型变量（Logical格式）输出，其数据流结构如图4所示。

图 4中，该神经网络计算模块在本质上是一个由外围变量控制的6列并行神经网络系统。外围控制变量为当前钢琴机械手控制中心点坐标及其目标坐标。6列并行神经网络的目标是从6个钢琴按键转动角度计算目标转动角度。而判断模块数据取自干预变量的降维模块输出量和6列并行神经网络模块的输出量。最终，输出一个二值化的Logical变量Check。

该过程无须考虑数据损失，仅做出数据合法性判断。考虑到系统运行效率，其隐藏层也应尽可能简化，将隐藏层设计为2层，分别为7节点和3节点。考虑到数据降维需求，将7个输入变量降维到1个输出变量。

4 演奏效果评价

研究者邀请了50名音乐学院钢琴专业的四年级本科生和50名钢琴专业的资深老师，来实验室内感受该机器人的演奏过程。演奏的曲目包括《小夜曲》《天鹅湖》《命运》和《土耳其进行曲》等，这些乐曲都有不同的表现手法。演奏现场设在学校的排练中心乐池，这里具有音乐欣赏的基础隔音和混响环境[15]。演奏过程中并未使用电子扩音设备，而是使用立式钢琴直接原声演奏。研究者要求上述100名钢琴专业的评委根据他们的主观感受给出评价，满分10分，最差0分。评价结果如表3所示。

在表3中可以看到，《小夜曲》和《天鹅湖》等乐谱的情感表达技巧相对简单;《命运》的情感表达则需要提供更多的大力度演奏，但同时也需要考虑到钢琴本身的表现能力;《土耳其进行曲》中快节奏乐句较多，对机器人的高速动作控制能力要求较强。在实际的主观感受中，两组评价者均认为机器人在演奏《小夜曲》和《天鹅湖》等乐谱时的表达能力超过在演奏《命运》和《土耳其进行曲》等乐谱时的表达能力。

同 时，在额外的调查中，50名音乐学院钢琴专业的四年级本科生中，有26人（占52%）认为该机器人的演奏技法达到或者超过他们自己的技法掌握程度。而在被邀请的50名专业资深钢琴教师中，有22人（占44%）表示该机器人的演奏水平达到了商业演出的标准。这些调查结果表明，尽管机器人演奏在情感表达上尚不健全，但已经可以得到较大比例听众的认可。

5 结论

该研究的核心创新点在于对钢琴演奏机器人的机械手控制系统进行了机械控制、电磁控制和软件控制层面的综合设计，使其在钢琴演奏过程中的表现技法更为丰富，有效提升了钢琴演奏机器人演奏音乐的现场表现程度。由于研究条件的限制，本研究仅涉及了钢琴演奏机器人的机械和机械控制部分，仅从硬件控制角度进行钢琴弹奏机器人的控制升级，未涉及人工智能乐谱识别等人工智能功能。在后续的研究中，研究者将通过软件优化等技术路径，进一步提升机器人演奏的技法表达和感情的诠释能力，使其演奏效果得到进一步提升。

参考文献：

[1]人工智能解放双手，科技助力艺术传播[J].钢琴艺术，2021（1）：61-62.

[2]杭小羽.个性化教学对儿童钢琴学习动机的激发[J].北方音乐，2020（21）：142-144.

[3]余嘉安.人工智能时代下高校钢琴集体课教学创新研究[J].黄河之声，2020（19）：118-119.

[4]杨小影.冷楚楚.“智能+钢琴教育”初步构想浅析[J].音乐探索，2020（4）：82-86.

[5]陈胜国，孔家星.智能化时代音乐教育面临的挑战与对策[J].艺术评鉴，2020（15）：102-104.

[6]李泽慧，李季.基于用户体验的智能钢琴在线教学产品设计策略研究：以KLSW 智能钢琴为例[J].铜陵学院学报，2020，19（4）：82-87.

[7]林宽雨.越来越“聪明”的机器人[J].小雪花（小学生成长指南），2018（Z2）：10-13.

[8]张初一.人工智能时代，机器人钢琴家给你好听的！[N].中国艺术报，2018-05-07（4）.

[9]宋致.2017世界机器人大会：机器人的大狂欢[J].科学启蒙，2017（12）：53，1-2.

[10]赵悦.一种钢琴演奏机器人[J].机械制造与自动化，2017，46（2）：143-145.

[11]黃承承.钢琴演奏自动评估系统开发与设计[J].自动化技术与应用，2020，39（9）：151-154.

[12]跨时空的变革：雅马哈自动演奏钢琴Disklavier帮考生圆梦[J].钢琴艺术，2020（8）：62-63.

[13]雅马哈跨界钢琴将音乐带进每个家庭[J].钢琴艺术，2020（5）：62-63.

[14]刘南.以听众视角聆听自我的新途径：论现代自动演奏钢琴复奏功能的应用[J].南京艺术学院学报（音乐与表演），2018（4）：147-151.

[15]本刊+KLASSIKOM 音乐资讯中心.施坦威全球典藏版系列钢琴与施坦威·SPIRIO 新悦高解析度自动演奏钢琴亮相中国（上海）国际乐器展[J].音乐爱好者，2016（12）：71.

责任编辑：肖祖铭