VR和AR中手势交互的应用是怎样落地的

2019年12月5日，由中国通信工业协会虚拟现实专业委员会、由中国通信工业协会区块链专业委员会、广东省游戏产业协会、深圳市互联网文化市场协会指导，行业头部媒体游戏陀螺、VR陀螺、陀螺电竞、陀螺财经、深圳区块链技术与产业创新联盟联合的主办2019未来商业生态链接大会暨第四届金陀螺奖颁奖典礼（简称“FBEC2019”），在深圳市南山区深圳湾1号T7座鹏瑞莱佛士酒店宴会厅开幕。本届大会以“蝶变 · 向上的力量”为主题，将一如既往的关注未来趋势发展、行业创新升级、商业生态新链接等前沿领域。

本次大会邀请到凌感科技联合创始人&CTO费越带来主题为“VR和AR中手势交互的应用落地和市场分析”精彩分享。

以下为演讲实录：

我会讲一下我们自己的心得，包括从技术上，一直到人的交互方式，还有落地方面。大家有任何问题，可以随时提问，一起探讨。

人类交互行为的分类

人的交互行为，整个计算机是从比较被动、比较机械式的交互往自然交互发展，自然交互主要是语音、面部、肢体、手势等等。在自然交互中，语音是少于45%，而更多的是非语音的，大概在55%。

手部的所有交互中，基本分为三类：

第一类是空中做一个手势，向另外一个人表达一个意思，这两个人之间没有任何接触，手也不做任何操作，而是表达一个抽象的语义，比如说OK；

第二种手势交互是手握着一个工具，比如榔头、枪；

第三种是更加随机、更加自然的，比如用手随机地握着不同的物体，或者是靠不同的方式，靠摩擦、弹性等做各种自然交互，这是最难描述的，也是最难用任何工具来模拟。

交互是一个介于好的内容和好的硬件之间一个重要的部分，1990年曾经有一个VR的高潮，斯坦福的一位教授去年说，现在整个VR依然最需要的解决的五个问题都是来自于跟踪，对于人不同肢体部分的跟踪，包括跟踪的质量。

过去计算机的理解力和表达力不动等，现在计算机的理解能力和表达能力越来越强，现在可以基本对话，下一步解决的是视觉、面部、肢体、手势可以和计算机对等的交互，你已经分辨不出来对面是一个计算机还是人。

交互技术的分类

唯一能够支持所有人的交互的只有三维的手的跟踪，无论是通过手套还是视觉上。从用户的易用性上来看，手套的表达能力是非常强的，但是易用性差一些，目前最容易使用的就是通过计算机视觉使用的。

1. 简单的命令型的手势：从2010-2015年，用于遥控电视，但是反响不佳，停产。因为命令太多，用户记不住，命令少又没有什么用，而且识别率也有问题，不是很精准。同时，2016年也有一些手机平板，但是后来也看不到了，没有这些功能了，就是一些噱头。

2. 简单命令手势+2D指向：HoloLens用户反响不是太好，用户吐槽，这个东西好，但是不好用。

3.3D骨骼等自然交互：到了今年HoloLens 2，大家才说反响非常好。3D手势交互，未来可以带来的自然交互体验，手势完全可以随意地做，可以做和日常天衣无缝的动作。当然，手柄在设计中还是具有天然的优势。有一些游戏比较有创意，虽然是设计游戏，加入了一些非设计的动作，可以随时打人，可以抓子弹、刀子之类的。特别是登山游戏，人手的动作要张开来抓岩石。

手势技术的落地

主要有教育领域、游戏和娱乐领域、医疗领域、工业设计领域、消费领域。购物方面，如果有VR的话，我们看的东西非常真实，有手势会使人更加身临其境的感觉，各个角度去看，增加购买力。

训练、仿真方面，军事太空人训练应用，模拟到了火星上之后，宇航员怎么样打开门在基地上行走做各种动作等等。

旅游、博物馆方面，比如给兵马俑加上颜色，让人体验回到2000年前和兵马俑的互动，或者怎么制作兵马俑，这些游戏让游客上手立刻就可以应用。

工程、设计方面，可以拆解模型，可以说话，旋转；教育、实验面，有危险的物理试验、化学实验，都可以虚拟环境中做一遍实验。