当音频遇上vr时钟什么体验

VR可以说是当下最火热的科技趋势之一，但VR音频技术却从没有在专业音频领域获得热捧。虽然音频技术几乎是和视频服务一起进入市场，但在VR游戏、VR电影等中的表现却远不如画面更“吸睛”。

这么久以来，VR音频这个概念一直都不温不火。无论是CD、SACD音乐、黑胶唱片还是流媒体音乐服务使用的都是较为传统的立体声音频技术。这几年，尽管有类似纯音频蓝光环绕技术、双声道录制技术、宣称能真实还原家庭影院级的环绕声体验等的不断出现，但并不能让大众发现其在技术上有什么较大的突破。

虽然早在2010年，配备Realiser A8处理器的耳机确实有着强大的空间定位能力，并能做出令人震撼的声音效果，但遗憾的是，其生产商已经不再生产这一产品。

如此一来，VR音频的身影也变得越发莫测了起来，仿佛越来越没了存在感。难道说，VR音频就要这样凉凉了么？

斯坦福研发全息声音合成系统，自动渲染动画声音

而就在近日，斯坦福新开发出的一项有关声音的新技术，又将VR音频带回了大家眼前。斯坦福研究人员通过计算快速移动和震动表面所产生的压力波，开发出了一款全息声音合成系统。斯坦福方面宣称该系统可以自动为计算机动画渲染逼真的声音。

对于这个新系统，斯坦福大学计算机科学系的Doug James教授说道：“我们可以用物理和计算机图形为场景制作动画。在此之前，行业内的技术无法为复杂的动画内容生成逼真又同步的声音，比如说溅水或碰撞物体。而此时，该系统填补了技术上的这一空白。”

通过几何和物理运动，系统可以计算出每个对象的振动，以及如何像扬声器那样通过振动来激发声波。其能计算由快速移动和震动表面抛出的压力波，但不能复制室内声学。因此，尽管不能在宏伟的大教堂中重现回声，但该系统可以实现各种其他情况下的声音。例如，钹相撞、颠倒的碗旋转到停止、往杯子里倒满水、虚拟人物用扩音器说话等。

由此方法产生的模拟声音将非常的逼真。该系统顾及到了动画中每个对象所产生的声波，同时还能预测这些声波，在场景中与其他对象和声波相互作用，将会产生什么样的弯曲、反弹或削弱的效果。斯坦福方面表示，许多的测试都表明了该系统生成的声音都十分让人震撼。

但这项系统也有令人遗憾的地方。其仍难以逼真的模拟出，那些复杂对象间相互作用所发出的声音。对此，斯坦福研究小组也坦言，这需要他们继续投入研究来找到应对的解决方案。

其实相较于视觉，人们在听觉上并没有那么敏感。很多时候，在画面与声音同步进行的情况下，人们更容易在画面中获取到较多的信息，从而忽略了一些声音上的细节。那么，是不是说明VR音频就不重要了呢？

答案显然是否定的。对于VR中的音频处理，小编认为大家需要用一种新的思考方式。过于逼真的声音确实不适合所有的承载模式。比如在影院中，当观众面对着2D视频，然而声音却从四面八法而来，这确实会分散观众的注意力，并让其产生对视频内容的不解。

但是，VR头显的出现，改变了这一切。研究显示，逼真的音频是在VR中建立临场感的重要先决条件。通过VR头显，用户可以转向任何方向，并看到一个连续的视觉场景。视觉上连续的场景与环绕式声音，两者共同构建了一个VR系统。也正因此，才有望为用户提供一个更接近现实的临场感。

而为了追求好的临场感、现场感，其必不可少的就是交互性。当用户佩戴上头显，其至少转头会看到不同的全景内容，声音也随之变化。类似于在游戏里边，玩家从一个房间进入到另外一个房间，听到从同一个点发出的声音都应该是不一样的。这和视觉的变化其实差不多。正是由于这些交互特性的引入使得真实性的提升，也证明了VR音频的存在是很有必要的。

VR音频就是需要通过交互来给用户一个更好的临场感。另外很重要的一点，开发者通过VR音频可以更方便的展现自己的意图。用户还可以通过声音来更好地理解开发者想表达的意思。相反，如果没有声音的提示，那么观众在观看的时候是完全按照自己的喜好，边看视频边猜测视频到底在表达什么。

很显然，这是非常没有效率的。而但凡是国外那些拍得非常好的VR作品，无一例外其声音效果都做得非常棒。依赖于VR音频，这些视频将更有目的性的去引导观众观看内容。这样一来，也让视频作品更具有了节奏感。

在VR中，用户处于场景中心，可以自主选择观看的方向和角度。用户想要通过头显加耳机的方式感受VR体验，就需要在双声道立体声输出的耳机上听到来自各个方向的声音。另一方面，用户时常需要来回转动头部或有大幅度的身体运动，因此还要考虑身体结构对于声音的影响。如此一来，就需要解决两个关键的问题，一个是怎么放，另一个是怎么听。

首先，声音怎么放？开发者在VR中制作声音时，就要以用户为中心，在整个球形的区域内安排声音位置。当其确定某一方向为基准后，画面内容与用户位置也就相对确定了。以此来定位的话，既有水平方向的环绕声，也有了垂直方向上的声音。通过水平转动和垂直转动这两个参数，开发者就能控制视角在360度球形范围的朝向，以及随时与画面配合的声音的变化。

另一方面，用户只有一副耳机，该如何实现电影院里杜比全景声的效果呢？这里面用到一项技术叫做HRTF（Head-related Transfer Function，头部传送函数），该技术能够计算并模拟出声音从某一方向传来以及移动变化时的效果，有点类似于一个滤波器。其对原始声音进行频段上的调整，使其能更接近人耳接收到的听感效果，并通过耳机来回放。

而基于这样的原理，有不少的厂商已经进行了尝试来创造VR中的音频。

Valve曾收购了音效公司Impulsonic，Impulsonic有一个基于物理的声音传播和3D音频解决方案，名为“Phonon”。去年，Valve开放了Photon音效工具的后续产物Steam Audio SDK。该方案能够通过空间音效增强VR沉浸体验，允许游戏的音频与场景几何体建立交互与反弹回音，从而增强体验。Steam Audio支持Windows、Linux、macOS和安卓等多个平台，也不局限于特定的VR设备和Steam。

2017年，谷歌也与音频公司Firelight和AudiokineTIc合作，推出了一个VR音频插件。开发者利用该插件可以根据虚拟空间大小、材料以及对象位置的改变来调整声音，营造更加逼真的氛围。该插件可以无缝集成到Unity和Unreal引擎中，使用时开发者只需要对3D音频进行简单调节，能够很轻易地创造空间音频。

与英伟达类似，2016年8月，AMD曾发布了一项名为TrueAudio Next的实时动态声音渲染技术，让虚拟现实中的声音和画面更为同步。该技术同样使用物理方式模拟，让渲染的声音无限接近真实环境的声音，在虚拟建模中进行多次反射，利用Radeon Rays光线追踪技术让系统辨别VR空间布局并定位空间中的物体。AMD已将该技术开源。

到2016年5月，NVIDIA推出了一个专门用于VR场景，并是基于物理技术的声学仿真技术“VRWorks Audio”。该技术借鉴了光线追踪渲染的思路，充分考虑了3D场景的渲染，通过将音频交互映射到3D场景中的物体上，使音频听起来更加自然。

用户不断移动，能够听到回声的变化以及带来的空间感，除了能够判断声音是由该物体发出之外，还能判断出物体的方向、远近等等更多的信息。

早在2014年，Oculus就已授权VisiSonic的RealSpace 3D音频技术，并将其融入Oculus Audio SDK中。通过跟踪器上所发来的空间信息来处理声音信息，让听者觉得该声音是从这个物体中发出来的。这项技术非常依赖定制的HRTF，通过耳机来再现精准的空间定位。

已有的技术确实可以实现VR音频，用户也可通过其辨别方向和距离。但是VR音频技术要求的，不仅仅只是提供环境中物体的位置信息，而是需要能反馈出更多的空间环境状态。

以游戏为例，当场景中的光线越来越暗，玩家的视觉必定受到限制，这个时候就要靠音频来确定环境状态。脚步声、风声、动物的叫声等都能为玩家提供信息，诱导其下一步的行动和交互。因此，精准有效的音频技术在VR中特别重要，不仅仅是游戏、视频，在其他例如教育、社交等领域，VR音频技术还需要进一步的成熟。