通过Touch Designer构建一个交互式视听系统

我们常常将地球视为被动的背景，却忘记了自己身体的本质正是由地球的物质构成。《消失的地球回忆录》是一个沉浸式艺术项目，通过触觉的亲密体验弥合这一鸿沟。借助一台定制乐器，我们将人体与不断变化、受损的景观之间产生的电振荡转化为实时的现场声音景观。它把生态消亡从抽象概念转变为直接、具象的听觉体验。这不是一种隐喻，而是正在改变的星球的真实声音，创造出一种不容忽视的记忆，呼唤着对环境的责任与担当。

亲眼目睹了略夫雷加特河环境的快速变迁，我们深感有必要创建一个项目，来记录并见证这片不断变化的景观。

该项目旨在剥离寒冷的环境统计数据所形成的保护性距离，将原本仅具客观性的科学数据转化为亲密而富有情感的音频见证。它创造了一种原始的人与大地之间的肌肤式交互界面。项目目标是制作出一张地理定位、带时间戳的数字声音地图，记录环境创伤、正在变迁的景观，并实时呈现如略夫雷加特河等特定区域的退化状况。最终成果是一种共享的公共仪式，引导观众从被动的旁观者转变为有责任的守护者，并促进集体问责。

我们共同设计了叙事内容和交互界面，并根据收到的反馈进行了多次迭代优化。现场访问和资料收集也由团队共同完成。

技术流程

1. 硬件与无线连接

该项目使用一块基于ESP32的Barduino开发板，通过BLE-MIDI(蓝牙低能耗MIDI)协议配置为无线MIDI控制器。连接时，Barduino会通过其原生的Audio MIDI Setup工具(经由蓝牙配置面板)与Mac进行无线配对。一旦连接成功，操作系统便会将该开发板识别为标准的MIDI输入设备。

2. 传感器数据处理与MIDI映射

原始传感器值(最高可达60,000)经过校准后，被映射到标准MIDI数据范围0–127。

该代码将这些读数分为三种不同的交互状态

基准/空闲(值：0)：无人员或物料接触(静音)。

材料基线：传感器仅与过渡材料接触

人机交互：人体触碰会改变电容/电阻值，使MIDI数值趋近于127。

3. 声音设计与模块化合成(VCV 配置)

对于音频引擎，映射的MIDI数据被路由到VCV Rack中，后者是一款开源的模块化合成软件。在VCV Rack中，每个传感器都被分配到特定的MIDI通道或连续控制器(CC)编号。

为了将抽象的合成与现实相连接，系统使用了材料的实际现场录音。这些录音被加载到VCV Rack中的采样节点中，并调谐至这些材料所固有的特定研究共振频率(单位：赫兹)。

与直接调整音高或音量不同，输入的传感器数据充当一个电压控制振荡器(VCO)，用于操控音高和波形。最后，每个通道都添加了混响滤波器，以增强整体作品的氛围感和情感表达。

设计流程与挑战

在整个设计过程中，我们通过使用现成材料或从其他项目中回收利用的材料制作快速原型，探索了多种方案，以便迅速获得可视化效果。在实物产品和系统设置方面，我们经历了多次概念上的调整，尤其在平衡系统限制与期望的交互效果之间遇到了困难。在持续数周的冲刺周期中，项目设计通过技术与物理层面的反复迭代不断演进。

系统架构演进

最初的设计方案是通过Touch Designer构思出一个交互式视听系统，具备在树莓派上运行的潜力，以实现无需计算机的自主体验。经过技术评估后，发现视觉输出的重要性较低，因此更应专注于掌握核心的触觉交互与声音输出。为此，系统架构被重新设计，仅聚焦于多声道音频合成。由于VCV机架具有低延迟、模块化接线特性，更适合实时传感器驱动的控制，因此将模块化音频合成切换至VCV机架。

传感器集成与电容式信号路由

通过多次迭代实验，对传感器配置进行了测试。分别尝试了单个、四个以及三个有源电容传感器的组合，以评估其效率和效果。最终采用的物理装置使用了三个有源传感器，因为它们连接的是心电图电缆，这些电缆作为导电连接线，仅包含三条电缆。

此前的测试表明，将原材料直接暴露在电容表面时，系统会读取基底材料或人体基础电容值，而非材料的实际物理特性。为了隔离材料数据，交互拓扑结构被重新设计，采用心电图电缆作为导电连接，以屏蔽任何干扰。材料与传感器连接线串联。通过这种方式，用户在接触材料前先触碰连接线，从而闭合电容回路。这使得微控制器能够准确读取由材料自身密度、含水量和电阻率引起的信号变化。

硬件调试与重新映射

在将最后三个通道传感器集成到开发板上时，其中一个引脚出现了暂时性卡死现象，原始读数间歇性地跳升至最大边界值60,000，导致MIDI数据传输中断。

经过一些诊断隔离测试后，发现GPIO第8引脚存在硬件故障。当与其他引脚同时工作时，会导致电路板出现电气不稳定，导致数据流冻结。我们重新布线，绕过故障引脚，并将第三个数据通道重新映射到另一个引脚。成功更新配置后，多通道数据流已恢复正常。

环境校准限制

由于电容式触摸感应对电变化极为敏感，环境因素如湿度、材料体积和湿气饱和度会改变传感器的基准值。在录音室环境中进行的测试无法准确模拟其他地点的环境条件，因此需要进行专门的现场校准。在从重点区域直接采集原材料(黏土、土壤、水)后，需将数据映射范围调整至不同的区间，以确保传感器能更轻松地捕捉读数的变化。

由于硬件依赖笔记本电脑来承载VCV Rack的音频生成，因此该艺术作品的激活仅限于主动管理的实时激活环境。否则，用户只能通过网站界面中提供的先前录制的音频材料进行交互，这些材料则充当数字数据档案。

本文编译自hackster.io