基于Processing的新媒体生成艺术交互设计实验研究

陈桢 陈媛媛

摘要：生成艺术是新媒体艺术中的一个分支，是先编好编程后由计算机自主运算呈现出图形的过程，体现了人与计算机交互创意，Processing（编程语言）是创作生成艺术的良好工具。本文利用Processing开源编程进行实验、创作，探究Processing在艺术创作上的表现，以及与其他硬件进行物联后的效果，如Kinect（体感设备）、Arduino（开源电子原型平台）、TouchOSC（物联网控制器）等等，旨在使艺术创作具有更丰富的表现效果和多种交互的可能性。

关键词：Processing;生成艺术;交互

中图分类号：J05 文献标识码：A 文章编号：1004-9436（2021）10-000-03

0 引言

纽约大学Philip Galanter（菲利普·加兰特尔）在其论文中给生成艺术下了定义：“艺术家应用计算机程序，或一系列自然语言规则……产生出一个具有一定自控性的过程，该过程的直接或间接结果是一个完整的艺术品。”[1]结合这一定义，本文认为，生成艺术指人运用计算机语言赋予计算机自主性进行艺术创作的过程，该过程中人机交互生成了独一无二的動态或静态图形，最终产出的作品具有独特艺术魅力。Processing（编程语言）就像一块无边界的画布或速写本，使用者可以以数字语言为画笔，在画布上随意发挥，创作出美妙的图形，其也因此被广泛称为“最美编程”。Processing是由美国麻省理工学院媒体实验室旗下的美学与运算小组在Java语言的基础上进行简化创造出来的，配有大量的开源库供使用者学习，其目的主要是服务于艺术设计师和艺术相关爱好者，凭借高度的开源性、易上手等特征，深受艺术设计师喜爱。

本文以Processing为基础，对生成艺术进行探索尝试，探索人与宇宙、物质与计算机语言这类非物质形式的关系。除了在平面的视觉表现形式上进行探索，本文还尝试以交互的形式实现与更多媒介的结合，通过与不同媒介连接控制图形，从而生成新的图形，让人不再只是从视觉上获得观感，让观众也能亲自参与艺术生成的过程中，获得更好的用户体验，并引起共鸣和思考。

1 文献综述

综合上文对本研究内容的概述，本文从以下两方面进行文献综述。

首先是实证案例。以OpenProcessing（开源编程网站）上的生成艺术为例，生成艺术作品可以给观众带来神秘感与新鲜感。创作者郑越升的Messy Curve Draw（《混乱的曲线》）在OpenProcessing网站上获得了9.8万阅读量及1700点赞量。该作品（图1左）通过看似毫无章法地在画布上乱画线最终慢慢生成一幅人像，其中的算法原理是由Smile Mold（黏菌）转变而来的;德国生成艺术家Diana Lange（戴安娜·兰格）使用Processing创作的Generative portraits（《生成肖像》）将人的肖像以计算机语言重新结构，该作品（图1右）近看似无数个粒子间混乱的连线组合，远看却组成了疏密有条理的人体肖像，给观众带来了“人该是什么样”的全新视角。

其次，生成艺术的灵感与代码编写往往源于自然并模仿自然。2010年，Rules For Biologically Inspired Adaptive Network Design（《生物启发的自适应网络设计规则》）一文中验证了黏菌的智慧性。黏菌是一种最低等的真核生物，无中枢神经系统，却能自主做出一些非常智慧的决策，如它会自发地向食物前进，且会分裂朝不同方向寻找更多食物。文章指出，在东京地铁站相应的位置上摆上食物，黏菌就会自发地扑向食物，整体来看，这些黏菌具有明显的轨道线，与现有的东京地铁轨道线呈现出大概的一致性。郑越升创作的混乱的曲线就运用了黏菌的属性，先通过filter库（滤镜库）将底片处理成黑白灰的效果，之后将保留下来的灰度当作食物，运用黏菌原理去吃这些食物，最终产生了如图1所示的肖像效果。L-system是由匈牙利生物学与植物学家Aristid  Lindenmayer（林登迈尔）在1968年提出的关于在植物生长过程中细胞相互作用的数学模型，现多被艺术家运用于树木树枝的生长演变创作中。

上述案列在平面上都取得了不错的视觉效果，但对于生成艺术来说，最大的趣味性在于人机交互的创意，这也是新媒体艺术的特征之一。连接、融入、互动、转化、呈现是新媒体艺术创作必经的五个步骤[2]。艺术家通过艺术作品连接观众，使得观众融入其中，观众亲自参与到艺术创作过程中而非进行单纯的视觉上的体验，最终转化成全新的互动影像。本文的主要研究目的就在于初步探索Processing与其他硬件的交互尝试，从而为之后的创作带来更多思路。以OpenProcessing网站上的作者takawo制作的面部表情识别系统为例（图2），该作品通过摄像头捕捉面部动作，作者通过算法让系统学习生气、厌烦、害怕、伤心、惊讶、高兴时面部表情的一些行为特征，最后通过面部骨骼绑定识别人脸微表情以判断人的情绪变化。

2 设计和实验部分：基于Processing 开源编程的平面图形制作与交互实验

2.1 计算机基本图形的绘制

Processing与其他编程语言最大的不同点就在于学习思维的不同。其基础学习是从图形的绘制开始，先将头脑中想象的几何图形转换成数学语言，再用数字描绘图形，从而实现图形的绘制。其基本图形都是由点线面组成的。在Processing建立的画布中，创作者首先确定好图形每个部分在画布上具体的坐标值——（x，y），然后带入函数ellipse（圆）、rect（方形）、vertex（点）等，即可输出想要的图案，如图3的雪人和蒙德里安构成作品临摹都是通过上述原理制作而成的。这里呈现图形的方式是最基本和简单的，但也是必需的。继续深入探索，创作者还可以添加逻辑语句，建立自己需要的函数，添加按钮、声音等一系列库，从而让画面动起来，其颜色也可以随着创作者的点击而发生变化。

2.2 Processing与其他设备互联实验

2.2.1 Arduino

Arduino分为Arduino IDE（编译器）和单片机两个部分。在IDE中编写编程然后烧录到连接着各种感应器的单片机中，就可以完成一件作品。本文通过Processing与Arduino的互联，进行了两次交互实验。

第一个实验为led灯的开关控制，基本的流程图如图4所示。

在Processing进行GUI设计中，本文运用了controlP5、PFont库建立按钮和字体，通过调用serial库定义按钮的数值并向Arduino发送传输协议。根据单片机串口与LED的线路连接情况，本文在Arduino IDE中接收Processing发来的传输信号，定义不同数值时led的效果，最后通过鼠标点击按钮实现led灯的亮和灭。

第二个实验为飞机游戏交互尝试[3]，工作流程示意图如图5所示。

与电脑游戏不同，此次试验将游戏在屏幕上的操作控制提取出来，通过外接重力传感器控制飞机的左右方向。重力传感器被安置在箱子上，通过拍動箱子使重力传感器数值变化，最终传输给Processing，从而控制左右方向。

2.2.2 TouchOSC

TouchOSC是简易的物联网控制器，允许远程控制和接收来自软件和硬件的反馈。其分为3个部分：第一，TouchOSC软件，用于接收协议并发送反馈;第二，TouchOSC编辑器，用于编辑手机控制端的UI界面，并设定好每个UI的功能以及数值范围;第三，TouchOSC网桥，用于连接电脑和手机。

借助TouchOSC的功能，本文尝试以远程端手机触屏控制替代电脑端鼠标点击按钮或滑动滑轮的方式，最后的呈现结果表现出这种交互方式的改变使作品变得更加智能化。如图6所示，在编写好的粒子连线效果代码中，在Processing中添加oscP5库，之后通过协议连接到移动端的TouchOSC软件，再在移动端滑动滑轮范围反馈给电脑，从而控制粒子间的速度、连线距离、颜色变化、透明度等等数值。

2.2.3 Kincet

Kinect是一款体感硬件，拥有彩色摄像头和深度摄像头，可以用于捕捉识别人体动作，如今被广泛应用于体感游戏制作中。此次实验主要调用了Kinect的深度摄像头。深度摄像头可以识别镜头到人体之间的距离，呈现的影像为黑白色。试验流程图如图6所示。本文在Processing中添加KinectPV2库调用Kinect深度摄像头，然后为识取到的画面添加滤镜，使屏幕上只出现最前方的手。如图6所示，在读取到过滤后的影像后，Processing可以重新调配影像的颜色，并计算出现在画面上的体积的中心值，将中心值设值为圆球的坐标值，屏幕上就可以出现人在玩球的互动影像。

在此次实验中，本文发现任何影像都可以分解成成千上万个小像素。在计算机上，每个像素都有具体的坐标值，当改变坐标值的大小、空间关系后，观众在再次站在设备前就会看到全新的影像画面。

3 结语

生成艺术的特征之一就是它是由计算机语言生成的，而编程代码是数字化的符号语言，是理性的，每一层代码都需要有严谨的逻辑关系，这对于艺术设计师来说有一定的困难。但如果艺术家能用画画时的流程思考如何进行编写，则编程的难度可以相对降低，Processing就是这样的开源编程。

艺术家利用Processing创作的作品可以是单一静态的图形，如平面海报。但创作者只需稍稍改动个别语言便能带来全新的图像，这使内容呈现出神秘性、未知性，使作品变成了动态多变的影像，与Arduino等多种传感器设备连接后，人机交互赋予了作品新鲜活力。

本文综合解读了以Processing为工具进行的新媒体艺术创作，研究重点在于在新媒体艺术创作中尝试不同媒介间交互的可能性。在艺术创作过程与最后的呈现效果上，多种媒介相互连接运作在改变了交互体验的同时也极大地丰富了作品整体的趣味性，使得作者和观众可以更好地融入作品本身。

受限于编程难度，本文的研究实验还处于初级阶段。在内容的呈现上，本文是通过Processing开源编程进行创作，是将内容在脑海中构思好，再用数字化语言编写，或在现有编程的基础上进行改编，最后由计算机自动生成简单图像或动态影像;在表现的形式上，本文探索了重力感应器、TouchOSC、Kinect体感设备与Processing分别进行的简单交互，可以在一定程度上帮助作品实现与观众更深入的连接。

本文基于Processing平台进行的艺术创作实验在内容和交互形式呈现出简单化和单一化的特征，但本文想通过上述实验为读者提供新的创作思路、创作方法和灵感。无论是在内容表现还是交互形式上，作者若想要观众与新媒体艺术作品更深入地连接，就需要对编程进行更加深入的学习，这样才能表现出更多变的内容。在交互媒介上，一件艺术作品需要多种感应器的配合，这样才能产生更多元化的交互方式。

参考文献：

[1] 王欣.基于Processing的计算机生成艺术应用研究[J].艺术与设计（理论），2019（Z1）：61-62.

[2] 王红，刘怡琳.交互之美——teamLab新媒体艺术数字化沉浸体验研究[J].艺术教育，2018（017）：130-131.

[3] 陈媛媛.浅析设计思维在新媒体艺术创作中的方法应用[J].创意设计源，2019（06）：12-16.

作者简介：陈桢（1999—），男，江苏句容人，硕士在读，研究方向：信息产品设计。

陈媛媛（1986—），女，江苏南京人，博士在读，副教授，研究方向：新媒体艺术与理论、乡村文化设计、动画艺术创作。