多点触控技术

触控技术我们并不陌生，早就有了。银行的取款机大多是触摸屏，很多医院、图书馆等的大厅都有这种触控技术的电脑。而支持触摸屏的手机、MP3、数码相机也很多。触控技术，用手指代替了键盘、鼠标，既显示出了最大的人性化，又在特定的场合减少了鼠标、键盘的空间。但是这些已经存在的触控屏幕都是单点触控，也可以说是电阻式触控。他的缺点主要是只能识别和支持每次一个手指的触控、点击，若同时有两个以上的点被触碰，就不能做出正确反应。

而多点触控技术能把任务分解为两个方面的工作，一是同时采集多点信号，二是对每路信号的意义进行判断，也就是所谓的手势识别，从而实现屏幕识别人的五个手指同时做的点击、触控动作。

iPhone为什么这么热销，关键就是它的多点触控屏技术，这个对于其他手机厂家来说是很致命的。苹果公司已经为多点触控技术申请了两个专利。

多点触控技术并不是那么容易实现的，它是从硬件到软件的一个有机的整体，可以说是一个系统工程。多点触控技术由硬件和软件两部分组成，如图1所示。硬件就是多点触控平台，完成信号的采集;软件部分是在硬件平台采集数据基础上进行触点的检测定位、跟踪、手势定义与识别，最后将识别出的手势映射为面向具体应用的用户指令。其中身份识别技术贯串整个软件实现过程。

图1 多点触控技术的关键技术

硬件平台

目前，多点触控的硬件平台有电容式、红外式、受抑全内反射(frustrated total internal reflection，FTIR)式、散射照明(Diffused Illumination，DI)式、激光平面(Laser Light Plane，LLP)式、散射式表明照明(Diffused Surface Illumination，DSI)式、发光二极管平面多点触摸技术(LED Light Plane，LED-LP)等技术。每种技术都有其优缺点，基于现有的多点触控平台存在的各种优点和缺陷，有助于研制成本更加低廉、安装移植更加方便、定位更加精确的交互式平台，以及与此平台无关的其他交互式技术。

遮挡分析

现有多点触控平台中，基于电容耦合电流或者基于红外的多触点检测的精度取决于传感器阵列的密度;而基于FTIR和多摄像头等检测方法都是基于计算机视觉技术的，如何完整地分割出触点轮廓进而实现触点的检测和定位本身就是计算机视觉技术领域的难点。

触点检测

多点触控平台在检测和定位出多个触点后，还需要对每个触点进行跟踪，记录每个触点的轨迹信息，再作基于轨迹的动态手势识别，才能实现基于手势的自由交互。多重触控平台所检测出的目标大都没有颜色和纹理特征，形状特征也相似，因此传统的基于图像特征的多目标跟踪方法不再适用。将主要根据触点的运动轨迹信息如用户手指运动的先验知识进行运动估计，此外还需充分利用多摄像头的物理位置关系约束对多摄像头进行一致性标记，从而实现多摄像头多目标的跟踪。研究内容包括同一传感器前后采样时间检测到的多目标之间的一致性标记，以及不同传感器之间多目标之间的一致性标记。

手势定义

多点触控技术最大的优点就是能实现基于手势的自由交互，手势定义是其中的关键基础。实际应用中用户的手势与应用背景是紧密相关的，所以在强调通用性的同时也应重视应用的导向作用。手势的定义过程应当首先提取用户意图，即在特定的应用环境下用户想要完成何种语义功能，然后确定用户要实现的功能通过何种手势来完成，并将手势分解为多个原子手势的组合，最终用户的一个意图被转换为一系列原子手势在特定关系下的组合。

手势识别

多点触控系统中的手势识别是基于触点运动轨迹的动态手势识别，其中动态手势对应着模型参数空间里的一条轨迹，涉及时间上下文和空间上下文，且不同用户做手势时存在的速率差异、熟练程度会在轨迹的时间轴上引起非线性波动。如何消除这些非线性波动是动态手势识别技术必须克服的一个重要问题。

考虑到对时间轴的不同处理，现有的动态手势识别技术可以分归三类：基于隐马尔可夫模型(Hidden Markov Models, HMM)的识别、基于动态时间规整(Dynamic Time Warping, DTW)的识别、基于压缩时间轴的识别。

身份识别

现有多点触控技术检测到的触点大都不携带用户信息，目前已知HTC的Diamond Touch平台也最多只能识别四个用户，而且多重触控技术未来的一个重要应用模式将是大尺寸交互区上多用户的协同。因此必须实现触点的用户身份识别，而且除了识别触点来源于某个用户外，有些应用还需要识别触点来源于用户的哪只手，这是多点触控技术最难解决的问题。

多点触控硬件部分技术的分类

LLP技术

主要运用红外激光设备把红外线投影到屏幕上。当屏幕被阻挡时，红外线便会反射，而屏幕下的摄影机则会捕捉反射去向。再经系统分析，便可作出反应。

FTIR技术

多点触控它会在屏幕的夹层中加入LED光线，当用户按下屏幕时，便会使夹层的光线造成不同的反射效果，感应器接收光线变化而捕捉用户的施力点，从而作出反应。

如图2所示，由LED(发光二极管)发出的光束从触摸屏截面照向屏幕的表面后，将产生反射。如果屏幕表层是空气，当入射光的角度满足一定条件时，光就会在屏幕表面完全反射。但是如果有个折射率比较高的物质(例如手指)压住丙烯酸材料面板，屏幕表面全反射的条件就会被打破，部分光束透过表面，投射到手指表面。凹凸不平的手指表面导致光束产生散射(漫反射)，散射光透过触摸屏后到达光电传感器，光电传感器将光信号转变为电信号，系统由此获得相应的触摸信息。

由于多个触点同时响应，新型触摸屏充分释放了人手的控制潜力。不再像鼠标那样，一只手仅能够操作一个点，而多点触控技术是一种具有高度自由性的真正的多点控制界面。

ToughtLight技术

运用投影的的方法，把红外线投影到屏幕上。

Optical Touch技术

它在屏幕顶部的两端，分别设有一个镜头，来接收用户的手势改变和触点的位置。经计算后转为坐标，再作出反应。

各种多点触摸技术的优劣势

FTIR(受仰全内反射)：

优势：

适应各种按压力度

不需要封闭的箱子

触摸点对比度高

如果有硅胶触摸层(或类似)，即使像笔尖那么小的点也可以识别

劣势：

无法识别薄片状物体

需要 LED 灯带，灯条，这涉及到焊接

需要硅胶层，以达到较好的触摸效果

不能用玻璃作为触摸屏，因为要用到亚克力独有的全内反射特点

背投式 DI(散射光照明)：

优势：

不需要硅胶层

可以用任何透明的材料做触摸屏，如玻璃，亚克力等

不需要 LED 等条，等带

不用自己焊 LED

设置简单

可以识别物体，手指，薄片状物体，甚至隔空操作

劣势：

要使整个触摸屏有一致的亮度比较难

触摸点的对比度低

容易产生“假”的触摸点

需要封闭的箱子

前投式 DI(散射光照明)：

优势：

不需要硅胶层

可以使用任何透明材质如玻璃，亚克力做触摸屏

不需要 LED 灯条，灯带

不需要焊接 LED

设置简单

可以识别手指，隔空操作