详解Oculus Rift的主动式光学定位技术

　　2016，VR元年，oculus、HTC、索尼等这样的重量级厂商纷纷推出或宣布了自己的消费级硬件产品来抢占消费者市场，相信广大VR爱好者们中的很多人都已经入手了一款虚拟现实设备。在这些硬件当中，Oculus Rift CV1（以下简称“CV1”）无疑是最受人瞩目的硬件产品之一，毕竟它有2014年拿了Facebook20亿美金这样的大事件撑腰。

　　众所周知，Oculus Rift采用的是主动式光学定位技术，那它到底是如何实现的呢？

　　（via：nukethefridge.com）

　　基本实现流程：

　　Oculus Rift设备上会隐藏着一些红外灯（即为标记点），这些红外灯可以向外发射红外光，并用红外摄像机实时拍摄。获得红外图像后，将摄像机采集到的图像传输到计算单元中，通过视觉算法过滤掉无用的信息，从而获得红外灯的所在方向，再利用PnP算法，即利用四个不共面的红外灯在设备上的位置信息、四个点获得的图像信息即可最终将设备纳入摄像头坐标系，拟合出设备的三维模型，并以此来实时监控玩家的头部、手部运动。

　　注：具体可看如下图，注意上面这些红色的小点点。

　　接下来我将向大家介绍一下我的推理过程，以及算法的一些细节。

　　| 头显上的LED灯

　　前文中我提到我们需要利用四个不共面的红外灯在设备上的位置信息来进行定位，而如果想要知道不同的红外灯在设备上的位置信息，就必须能够区分不同的红外灯。

　　为什么这么说呢，如果不区分红外灯，那么当DK2（注：特指头显）在空间中运动时，摄像机捕捉到光点后，要进行关联（姿态最优匹配的过程）的次数 会非常大，举个列子：

　　1） 如果有N预测图像点和M 《= N观察图像点，则有N！/（N-M）！可能的关联

　　2） 对于N = 40和M = 20（对DK2 LED的数量），有3.3&TImes;1029的关联，所以就算是计算机，也无法快速地得到结果。

　　很显然，DK2一定是采用了某种先验的方式区分光点。那么问题来了，DK2到底是如何区分的呢？

　　我曾看到有文章中猜测说DK2是通过LED灯的亮灭来区分的，实际上却并非如此。因为虽然通过LED灯的亮灭来区分比较简单，因为亮灭最容易区分出来，但是这种方法有个缺陷，就是无法区分是姿态改变导致的LED灯被遮挡，还是LED灯本身就熄灭了，所以，DK2没有使用这个方法，而是采用LED灯光信息的强弱来实现的。我们来观察用灰度摄像机拍摄的图：

　　对比上面两图，可以发现亮斑的大小有变化。可以看出红色部分，在图2时光斑更大，蓝色则相反。接下里我们看详细的做法。这里必须说一下，在推测具体的做法过程中，我曾误以为DK2直接判断光斑大小，然后根据多帧图像的规律来判断LED灯的ID，但实际上DK2是使用差分法来判断光斑大小。我在这里简单给大家介绍一下我的推理过程。

　　首先我用自己的摄像机拍摄了大量照片进行观察后发现如果把摄像机用60HZ左右频率拍摄，图像每10张就会开始重复。

　　我先给光点编个号，如下图：

　　比如，2号点的可以用肉眼识别的强弱顺序：弱，弱，强，强，弱，强，弱，弱，弱，强。

　　那么是不是这样呢？如何在DK2中表示这些强弱关系呢？

　　首先，已知SDK的windows的driver会发送一个开始信息，让头显开始运作；

　　紧接着，这个driver就会不断接收到下面信息：

　　X1 X2 X3 X4 是1个32位数，是图像分析后得到的空间坐标（原理后面给大家解释），DX则不知道干什么用，但是观察上面的num，换算出来是40，index从1开始，不断递增到40，说明DK2在一个一个的识别LED灯，另外，这些信息每17ms左右发上来一次，和60HZ的拍摄频率差不多，基本上可以认定是利用每10帧确定一个LED的方式。

　　为了完全确定这一点，还必须确定另一个问题：同步。

　　如果真的是LED通过10帧不同的变化来让摄像机确定LED灯的ID，那么必须要同步。

　　这要求一个同步信号能同时传给摄像机和头显，如果能了解同步的时机，就知道到底是不是60HZ的频率了。

　　可是当我看了MT9V034的资料后发现居然拍摄的频率是30HZ左右，不过细想一下，如果使用差分检测发，使用30HZ这个频率也能拍摄出光强的变化。也就是说，DK2根本不是直接判断光斑是大还是小，而是将当前帧的光斑与上一帧同一个光斑做对比，如果比之前大，则为大，反之则为小。那么当一个新的帧到达时，该算法首先提取帧的亮像素斑点，如下图。忽略少于10个像素或不是圆盘状的，最后确保所有的斑点来自前一帧中提取的大圆盘状斑点，然后进行对比。

　　所以，DK2将当前帧的光斑与上一帧同一个光斑做对比，然后根据10帧不同的变化来让摄像机确定LED灯的ID。

　　我在进一步查看这些点和位置信息的对应关系后，总结出DK2判断强弱变化的依据是：

　　1） 如果当前帧的斑点比上一帧斑点大10%，就是0；

　　2） 如果当前帧的斑点比上一帧斑点小10%，就是1；

　　3） 否则忽略。

　　这样的设计非常好，防止了LED灯受到随机干扰。