高通Tim Leland对虚拟现实与增强现实的看法

　　高通对虚拟现实和增强现实感兴趣，但对当前技术还不满意。该公司正在开发最新的移动处理器和其他技术，希望让VR和AR可以变得“无拘无束”、并能以更高的分辨率显示图像、使用更好的显示器、让其轻量化和提高节能效果，从而使得我们可以长时间佩戴头显。随着时间的推移，高通希望将所有必要的技术都嵌入到一个更小、更舒适的设备中。

　　负责实现该愿景的人之一是TIm Leland，高通产品管理副总裁。Venturebeat在旧金山举行的VRX会议上采访了Leland，探讨了高通对虚拟现实、至今为实现高质量无线 VR所取得的进步、以及对增强现实的看法。以下是YiVian为大家整理的采访片段：

　　可以总结一下你在台上分享的内容吗？

　　高通相信VR正在发生。它会在2017年实现增长，然后不断壮大。随着新技术的发展，尤其是显示技术的发展，VR和AR将最终合并，AR会涵盖VR。如果你想进入VR模式，显示屏可转换成不透明。AR和VR将是同一个设备。我不认为我们会过分担心增强现实、混合现实或融合现实中的术语的连续性。这就是所有一切发展的方向。你会有虚拟对象，你可以放置在这个增强的世界中，并与之进行交互。它们会被正确地锚定。

　　我们认为AR的未来属于移动，因为这是消费者想要的事情。消费者不想被任何东西束缚。在延迟方面，在运动—光子和光子—光子的延迟方面存在对应用性能的物理限制，但这会得到解决。如果你让渲染系统与惯性或位置追踪系统分离，限制就会出现。你希望这些系统可以紧密耦合，你可以，至少在同一个印刷电路板 （PCB）中，但在理想情况下是处于同一个系统单晶片（SOC）。

　　在未来的产品中，我们将会提高3D图形和多媒体性能，提高能耗效率，所以你不会遇到这么一个情况：必须在视觉质量+缆线和较低视觉质量+无线这两个选项中作出选择。

　　我见过Facebook和英特尔都在研发他们的无线头显，一体化头显，没有PC电脑。你认为这会发生吗？

　　我们有大约20个关于以一体化为主要目的的VR头显设计，要在VR头显市场中我们竞争，你必须能够在5瓦或更小的能耗下完成所有必要的处理。我们不认为，在没有针对异常发热问题的解决方案下，主要针对PC构建的这些架构可以引入到拓扑中。我们也不认为你可以得到四或五个小时的续航时间。我们在这方面有很多经验，这是我们通过Daydream和其他头显开发所积累得到的。

　　你是如何看待一体化头显和智能手机插槽的VR设备。

　　在一些要求上，一体化头显和智能手机插槽的VR设备之间并无太大不同，很多要求都是一样。我们一直在努力实现六个自由度，运动追踪，由内而外追踪。要发挥其作用，你不会想被任何东西所束缚

　　我们认为VR的未来是与AR的融合，而这会是移动化。智能手机的定义也会随着时间的推移而变化。所有这些都可以是某种高度集成的移动可穿戴设备。

　　（高通和微软都宣布你的）骁龙芯片能够运行Windows 10。我想在某个时候，你们关心的不再会是哪个单独的平台，而是兼容所有的平台。VR适合那个更大的策略吗？

　　我们与微软合作，与Facebook合作，也有与谷歌合作。我们认为将有一些VR云端应用程序，所以你想要能够来回传输云端的数据。你希望本地能处理有特定数量的任务。你会希望机器学习的某些元素在本地执行，而与云端服务对话。

　　5G时代即将到来，这会是一个很棒的技术，可减少无线客户端和服务器之间的延迟，并增加了上行链路和下行链路带宽的数量，这些设备将生产大量的数据。例如，我们录制了大量的视频数据，并将其发送回去，加上最高为8K分辨率的流媒体内容的下载。集成连接组件、多模式5G连接、以及集成Wi-Fi和Wi- gig技术这样的组合很棒。这与用于显示管理的传感器采样和渲染子系统非常接近。相当多的集成。

　　你有听（Epic Games创始人）TIm Sweeney的演讲吗？

　　我有听

　　我想知道他提到的某些技术在可行性上有几许。他提到单眼显示为8K的奥克利眼镜（Oakley）。

　　我认为分辨率可以实现。如果你希望它们一次性长时间运行，在主机和PC领域所采用一些强力方法需要改变，以满足这些轻薄化设备的部分要求。一些漂亮的视觉效果，那些你需要花费额外四五瓦功率才能实现的花哨着色效果，需要付出代价。这可能不是正确的决定。我们认为一些中间件，如游戏引擎，将会进化，所以你不会得到像‘嘿，看看这些出色的视觉效果’的体验，但你会有一根缆线连接到一台2000美元的PC上。

　　我们需要比背包式PC做得更好，因为这并非消费者想要购买的东西。我们需要关注消费者想要购买的产品，也就是超轻薄化的眼镜，让你可以同时使用AR和VR 功能。你在AR模式可以获取有趣和有用的数据;你也可以选择进入VR模式，并感受一个优秀的体验：舒适、轻量级、永远无线。

　　TIm Sweeney提到现在的显示器主要是为智能手机所设计，如果你专为VR开发内容，你可以使用不同的东西来实现高分辨率和低成本。

　　不仅只是分辨率，色域也是。这跟注视点渲染类似，所以你不必强行通过更多的像素进行渲染。相反，你把渲染处理的重点放在眼睛实际聚焦的地方，在这个宽广的视场中，你聚焦的区域并不大。这就是我所说的，不能仅使用传统的主机和PC渲染方法来处理视觉数据。VR行业必须灵活地实现这一点。我们必须共同努力，使这一切成为现实。

　　你认同Sweeney关于Metaverse（超元域）的看法吗？

　　他看过我们的一些图形demo。当我们在骁龙820，Unreal引擎4中展示时，他对在移动平台上可实现的视觉质量感到非常惊讶。

　　至于Metaverse？对的，我喜欢他所说的比喻。在过去，你需要知道如何编写HTML和各种基本的编码才能创建网页，并把视觉信息发布到互联网。随着时间的推移，该工具集变得更加通用，所以每个人都可以创建自己的网站。当谈到朝向一个单一设备的趋同时，我和他的感觉很接近。很难说虚拟世界的网站的最终形态是什么，但我同意他所谈论的几个概念。

　　谈到我们即将公布的内容，对于骁龙835，我们做出了一些改进。其中一些在相机子系统中。有些是为了确保我们为客户提供的相机功能解决方案的完整性。例如，在相机子系统中，我们现在支持Zig-zag HDR（HDR：高动态光照渲染），这是一种空间方法，多路复用不同的曝光级别、不同的曝光时间，因此你可以得到这种HDR效果，并通过骁龙处理器在内部进行处理。这可以更好地映射出最高亮度下的阴影。你会得到更好的阴影分辨率。

　　我们还对支持10位显示器的高动态范围做了一些改进。我们不仅能够以每秒60帧的速度解码4K HDR 10视频，而且我们也可以输出该视频。无需降低到标准动态范围的10位显示器，可以一直保持高动态范围。

　　我们提高了图形性能。我们一直在努力加快我们的Vulkan性能研发。我们将在骁龙835展示一些优秀的VR demo，我们新的骁龙芯片参考设计会使用高端3D图形和4K HDR视频。我们尚未透露具体的类容，只能说这是一个“新芯片”。

　　我们对视频编码子系统进行了一些改进，因此我们正在做诸如感知量化这样的事情。我们没有对编码场景中的每个可能的宏块进行统一量化，我们根据的事实是：如果你有这堵墙，你可能会对一些编码工件更敏感，而不是诸如灌木和树木这样的纹理，或者是移动速度非常快的东西。我们在骁龙835的Adreno 540子系统中的新视频编码器采用的是感知量化，而非统一的量化方法。

　　在模块方面，我们一直与模块制造商合作，预先优化三个不同的模块。其中一个是1600万像素的PDAF传感器，具有出色的光学元件，非常高的图像质量。另一种是双摄像头的单Bayer传感器，用于最大程度的低光摄影。第三种是具有宽视场的光学变焦双摄像机解决方案。你在另一个传感器上有一个望远镜镜片，用于最大缩放。我们还增强了一些缩放框架。我们可以在光学变焦和数码变焦之间来回无缝转换。

　　我们对电子图像稳定进行了一些改进，这在你进行缩放时尤其有用。我们有新的轨迹算法，可以更准确地采样一些传感器数据，以预测运动和衰减振动。

　　你认为这些事情会让（Oculus技术总监）约翰·卡马克等人更开心吗？ 他到目前为止都很挑剔。

　　我们一直在与卡马克进行对话。总的来说，他在Twitter上说过对骁龙非常有利的言论。我们有兴趣获得他对一些开发工具的反馈，因为他们开始做制作原型产品，并确保他们能在骁龙上获得最好的性能。