简要了解VR音频相关技术

[导读] 　　VR或3D音频通常被称作是空间化，空间音频就好像声音来源于3D空间中的特定位置。该技术对提供深度沉浸感十分关键，因为声音会给我们提供重要的线索，让我们知道自己在真实三维环境中的位置。如同定位

　　VR或3D音频通常被称作是空间化，空间音频就好像声音来源于3D空间中的特定位置。该技术对提供深度沉浸感十分关键，因为声音会给我们提供重要的线索，让我们知道自己在真实三维环境中的位置。如同定位技术一样，空间化取决于两个关键因素：方向和位置。

　　HRTF（头相关变换函数）与定向空间化

　　根据来源方向的不同，我们耳朵的几何形状和结构会相应地改变声音。头相关变换函数（HRTF）会以这些不同的效果为基础，然后用于定位声音。

　　如何记录HRTF

　　要采集HRTF，人们需要进入到消声室中，戴上耳机，然后在每个可能的方向播放声音，并通过耳机记录那些声音。把记录到的声音与原始声音进行比较，从而计算出具体的HRTF数据。这是因为两只耳朵和可用样本集需要在相当多的离散方向记录声音。当然，并不是每个人都具有相同的身体特征，也不可能记录每个人的HRTF，因此像微软研究院和Oculus这样的实验室会使用适合大多数情况的通用参考集，特别是当与头部追踪相结合时的参考。

　　HRTF应用

　　在准备好HRTF集之后，如果开发者知道自己想要声音出现的位置或来源方向，他们就可以选择适当的HRTF数据并将其应用于声音之中。这是以所谓的“时域卷积”或“FFT/IFFT”形式进行实现。所以这些公司基本上会过滤音频信号，让声音听起来像是来自一个特定的方向。这听起来好像很容易，但实际上成本十分昂贵，很难开发。

　　此外，必须要用到耳机，因为扬声器阵列会让事情变得更复杂。

　　头部追踪

　　人们会通过头部运动来识别和定位空间中的声音。没有这一点，我们在三维空间中定位声音的能力将大大降低。当人们把头转向一边时，开发者必须确保他们能够在听觉上反映出这种运动，否则，声音会让人感觉虚假，缺乏沉浸感。

　　高端耳机已经可以追踪人们的头部方向，甚至在某些情况下能够对其进行定位。因此，如果开发者在声音包中加入头部方向信息，那么他们将能够在三维空间中投射沉浸式声音效果。

　　距离建模

　　HRTF可以帮助公司识别声音的方向，但却不能帮助识别声音的距离。人们会使用多种条件来确定或假定声源的距离，而这些可以通过软件进行模拟：

　　响度

　　这可能是最简单的一个，同时也是我们最可靠的提示。开发者可以根据用户和声源之间的距离来调低声音的响度。

　　初始时间延迟

　　这很难复制，它需要根据给定的一组几何形状及其特性来计算早期反射。这也非常昂贵，操作起来很复杂。

　　直接/混响声

　　任何打算以准确的方式为后期混响和反射进行建模的系统都会出现这样的结果。而这些系统通常非常昂贵。