Facebook研发DeepFovea可为一体机VR大大提升渲染效能

（文章来源：yivian）

DeepFovea是一种基于AI的注视点渲染系统，并主要用于虚拟现实和增强现实显示器。据介绍，其采用了的像素数目较之原来系统要少数个量级，同时能够实现逼真的注视点全画质体验。Facebook指出，这是第一个能够根据非常稀疏的输入来生成自然视频片段的实用生成对抗网络(Generative Adversarial Network;GAN)。在测试中，DeepFovea可以将渲染所需的计算资源量减少多达10-14倍，而人眼依然无法注意到任何图像差异。

在下面这个视频中，灰色正方形是用户注视的区域。系统能够对所述区域的图像进行密集采样，而其他地方则是稀疏采样。DeepFovea可以实时有效地生成丢失的外围像素，不会出现保真度丢失的情况。

1. 工作原理，当人眼直接注视对象时，我们可以在注视区域看到非常清晰的细节，但外围视场的清晰度则较低。然而，由于人脑能够推断缺失信息，所以我们不会注意到影像差异。利用生成对抗网络的最新进展，DeepFovea能够通过生成感知一致的内容来“半透明化”丢失的外围细节。

研究人员通过馈送大量低像素密度的视频片段来训练系统。输入可以模拟外围图像的质量下降，而目标能够帮助网络根据所所见视频的统计信息来学习如何填充缺失的细节。结果是一个能够根据稀疏像素流生成自然视频的系统。Facebook指出，60×40度视场的外围像素密度最高降低了99%。所述系统同时可以管理外围视场的闪烁，锯齿和其他视频伪影，将其控制在人眼无法注意到的阈值。

2. 有何意义?高质量的AR和VR体验需要高图像分辨率，高帧率和多视图，而这需要耗费大量的资源。为了优化系统并把沉浸式体验带给更多的设备(如搭载移动芯片和小型电池的电子产品)，我们需要显著提升渲染效能。

DeepFovea说明了深度学习是如何通过注视点重建来帮助完成这项任务。这种方法具备跨硬件功能，并有望在下一代头戴式显示技术中成为重要的辅助工具。随着社区正不断探索在AR和VR应用眼动追踪系统，构建诸如DeepFovea这样的视线识别技术将能发挥重要的作用。Facebook表示：“这个系统是我们为优化AR/VR图形而提出的数个研究项目之一。在它之前是旨在利用AI解决视觉辐辏冲突挑战的DeepFocus。”