设计一个内置麦克风的装置，使用户能够直接与“日记”互动

我们生活在重叠的压力之中：生活中的微小日常摩擦，工作与创造生存所面临的更大不确定性，以及更远的、持续不断的不稳定感——环境崩溃、政治紧张、那些既令人窒息又遥远的系统。在这一切之中，我们被要求“记录”内心世界的方式却并未改变。我们仍然被要求将复杂性简化为整齐的条目、结构化的反思，用静态的语言来表达。

但生活经验并非一成不变，思想也非线性，挣扎也不在句子之中。

这个项目源于一种DIY的生活方式——通过实践、即兴发挥和利用现有材料进行创造来学习。在这样的空间里，思考不再与行动、环境和身体分离。你并非仅仅“书写”一种感受，而是围绕它、表达它、与之对立、回归它。你存在于其中。这一过程是混乱的、具有空间感且极为个人化，然而大多数工具却将其简化为可读的内容，而非真实可感的体验。

这里的目的是重新找回那个失落的维度。

日记不再只是用来书写的文件，而成为你所栖居的存在。一个黑暗的房间，回应着你的存在、你的声音、你的迟疑——它并非回映你说过的话，而是映照出话语在你内心如何流动。

房间同时监听多个频率。你的声音直接驱动着视觉空间：音量的起伏使墙上的形态随之膨胀或收缩，音高与频率的变化则改变色彩——当言语喧嚣激动时，暖色调上升;当声音低沉或颤抖时，冷色调、缓慢的调色板便悄然浮现。你的话语被实时转录，并通过一个AI层进行解读，它不仅分析内容，更捕捉情绪基调——紧迫感、退缩、悲伤、徘徊等——这些解读改变了投影物的质感与密度。你话语的片段在墙上浮现并消散为文字：并非字幕，而是房间感知到最富张力的语言。

你的身体与之同步发声。深度传感器捕捉到你的动作——手臂的伸展、手势间的停顿、双手的移动速度——并将这些能量转化为图形的表现形式。缓慢而贴近的动作使形态向内蜷缩，螺旋展开;舒展的手势则将其向外张开;静止则让画面得以凝固。

它回应了一种非常人性的需求：当语言本身不足以解释事物时，我们需要寻找意义。无论是试图阐明一个想法、处理个人困扰，还是面对更宏大而抽象的问题，我们常常依赖于片段——手势、语气、停顿。这个项目承认，表达不仅仅是言语或视觉的，更是身体的体现。

每次会话都被保存下来，不是以文字的形式，而是以一种视觉状态——你存在时的模样，在最真实瞬间的留影。当它被重新唤回，日记中积累的不再是言语，而是天气。是他人情感的残余，是他们的色彩与质感，却无名无言，也无具体内容。

因此，记录世界的行为变成了一种体验，而非一项任务。

我们希望在用户与日记体验之间建立一种联系，因此萌生了设计一个内置麦克风的装置的想法，使用户能够直接与这个核心元素互动。同时，我们也希望它能以某种方式与TouchDesigner投影相呼应，于是决定设计一个透明的四维体，能够反射并互动于投影仪所生成的形状和光线。

体验

这是项目的核心部分，也是我们最自由发挥、在TouchDesigner和传感器方面进行最多实验的环节。

该计划旨在根据用户的实时行为生成一张动态地图。地图将围绕用户投射，形成一种随其语调、语气、音量、肢体语言及其他参数变化而流动的空间体验。这些参数将控制地图的形状、大小、颜色等各项属性。

在一些帮助和教程的指导下，我们通过电脑麦克风将声音的音量与运动模式相连，利用鼠标移动引发的振动变化使图案变得更加激烈，并根据鼠标的垂直位置改变颜色。

这些工作的第一步是音频。我们着手创建一个基础的视觉效果，并随着音频输入而扩展，同时对音频效果进行了尝试和调整。

随后，我们使用鼠标坐标作为输入来测试Kinect的基本交互功能，之后将进行替换。我们创建了一个圆圈，根据鼠标的X和Y移动来改变多种属性，同时将位置直接映射到坐标上。

我们用Kinect的参数取代了鼠标坐标，开始进行实验。最终的视觉效果不再完全由手控制，而是利用Kinect传感器提供的大量可用参数。接着，我们更进一步，创建了一个粒子系统，使其能够漂浮并跟随手部动作，同时加入一定的延迟以实现更平滑的效果。

我们还希望以某种方式映射出运动的量，包括身体动作以及用户在房间内行走或做出手势时的移动。项目中最棘手的部分之一，就是将所有这些元素整合成一个无缝的体验。由于我们希望最终呈现的地图能够被用户在体验后看到，因此还需要让输入、视觉效果和交互行为留下持续且叠加的痕迹。为此，我们设计了一个反馈循环，通过一个非常简单的鼠标轨迹测试，并不断调整不透明度和其他参数进行优化。

随后，这一技术被应用于其余大部分视觉效果中，并通过调整参数使其适用于这些特定内容。下一步是将所有鼠标输入连接到Kinect传感器，以创造更加沉浸式和互动的体验。经过这些以及许多其他调整后，我们便建立了一个基本的体验系统。

最后一步是实际创造这种体验。我们在一个黑暗的房间里放置了一台投影仪，尽可能将画面投射到房间的各个角落。麦克风和音频设备则放在房间中央，以便用户能感受到自己正在与作品对话。

本文编译自hackster.io