结合了AR与VR优点的新技术才是真正的未来

（文章来源：87870）

微软研究院发布了一条有关其研发的Holoportation技术的视频，该技术可以通过一套系统让两个人跨越空间的障碍在同一个空间中进行面对面的交流，出现在你面前将是一个立体的活生生的人而不是视频通话那样只是一幅会动的画面。

HoloportaTIon的核心技术在于对真人进行较为精细的实时三维重建同时进行海量的数据传输，这不仅是一项先进的MR技术，也是影视行业所梦寐以求的，微软研究院研发的这套系统据称被大量应用于影视行业，整套系统的研发成本更是超过百万美金。

什么是Remixed Reality?这是一项结合了AR与VR的优点用于改进MR体验的技术。在上一代的HoloportaTIon中，你只能观看和缩放眼前看到的物体，但是通过Remixed Reality技术，你将可以像使用AR设备一样看到周围的真实世界，并像在VR中一样对它们做出实时改变。

使用Remixed Reality技术时，用户将不再只能看到另一个人及其周围非常有限的空间，取而代之的是由8台Kinect完成的一个完整房间的三维重建图像。用户可以通过VR头显来以自身的视角观察三维重建而成的房间，因为三维重建是实时的，所以用户可以看到任何进出房间的人或者是家具以及其他房间环境的变化，甚至可以与房间内的任何实物进行互动。这也给予了用户全新的能力——在观看真实世界的同时对它进行视觉的改变。

微软研究院的研究人员开发的这套RoomAlive系统主要分为两部分：数据采集与三维重建系统、显示与互动系统。8个Kinect V2为服务器提供大小约为4m×5m×2.5m的房间的深度信息以及色彩信息，服务器将这些信息进行压缩，并传输到一台连接了VR头显的PC上，在这台PC上完成信息解压缩与三维重建。显示与互动则是通过Unity与SteamVR完成的。

8台Kinect V2提供的数据量约为400Mb/s，在正常局域网(1000Mb/s)的带宽范围内，这意味着如果拥有更大的带宽的话，你可以继续增加Kinect的数量以增加数据采集的区域或是用来提高精度。Kinect的校准则是通过投影仪投影灰度图来实现的，其中用到了ICP(IteraTIve Closest Point)算法。

客户端的模型以每秒30帧的频率进行更新，但是每帧的模型数据之间没有联系，这就意味着如果你修改了其中某一帧的模型数据，下一帧中你的修改就会消失。如果要使模型的改动不会消失，则意味着你需要在帧与帧之间将三维模型进行匹配对齐，经过Kinect重建的三维模型有200多万个面，进行匹配算法根本无法实时完成。

为了能够与三维重建的模型进行实时交互并对模型进行修改，研究人员下了一番苦功。他们在程序中加入了由135万个三维像素组成的网格模型(150×150×60)，每个三维像素代表了房间中大约3cm见方的空间。三维重建的模型与网格模型之间有一种对应关系，使得模型的变动得以在帧与帧之间以较小的代价传递下去。如此一来我们就可以对三维模型进行擦除、着色等不同的操作了。

拥有了这样的能力，Remixed Reality自然就拥有了更加丰富的玩法。你可以重播一整场会议，并挑选自己喜欢的位置坐下，也可以利用视点的转换来自己和自己玩一场躲避球的游戏。运动员们则可以利用这一系统来全方位的观察自己某一时刻的姿势是否正确并进行纠正，你也可以利用这套系统来剔除场景中的一些干扰物或者是人。这些是都是之前HoloLens以及Magic Leap One所无法做到的。