基于眼动生理特征的视觉随动系统

课题背景与现状

人体的体感控制是智能控制设备的一个典型的研究方向，其典型的代表就是基于人体表现的运动控制，已被广泛应用于游戏及体育训练等很多方面。尽管业界广泛认为基于脑波控制是体感控制的最有效措施，但由于脑波信息的复杂性使得相关技术仍旧停留在实验室研究阶段。视频信息是人类获取外界信息的主要渠道，相应的眼球运动也具有典型的行为模式特征，其运动范围小，释义明显，因而基于眼球兴趣移动信息的控制也被业界广泛关注，相应的产品在国外也有一定表现。

眼动仪是用于记录人在处理视觉信息时的眼动轨迹特征的一种设备，根据角膜和瞳孔的反光原理设计的眼动仪有：美国应用科学实验室(ASL)生产的504型和501型眼动仪、加拿大SR公司生产的eyelinkII型头盔式眼动仪、法国的Metrovision公司生产的Mon VOGl型和Mon VOG2型眼动仪、美国Fourward Optical Technology公司生产的第六代双普金野眼动仪以及德国SMI公司生产的MEye Track型眼动仪等等。美国LC技术公司生产的eye gaze communication system也是用这个原理生产的眼动仪，它可以帮助那些不能用手进行计算机键盘操作的病人用眼睛代替手来操作键盘。

根据电流记录法原理生产的眼动仪有法国Metrovision公司生产研制的Model Mon EOG眼动仪，这种眼动仪可以记录水平和垂直方向的眼动情况。

根据电磁感应原理生产的眼动仪有荷兰SKALAR公司生产的磁感应眼动记录系统。该系统被广泛应用于神经生理学、阅读、神经病学和视觉研究中。

另外，瑞典托比公司和中国联想集团3月1日在德国汉诺威2011年信息和通信技术博览会上共同推出世界上第一款用眼睛控制的笔记本电脑。该电脑的焦点总能聚集在用户正在注视的屏幕位置上,其眼控功能可以与键盘和鼠标联动以提高使用电脑的速度。

目前结合视频场景观测，脑波及眼动监测的人体研究设备发展迅速，相关研究具有较强的科研价值。

研究的目的与意义

项目以人眼的兴趣移动为研究对象，设计相应的硬件系统同步远端摄像头的移动、对焦，经过视频眼镜显示远端摄像头采集的图像。

项目控制以眼球兴趣移动作为控制判决依据，符合人眼观察特点，对于基于视觉兴趣的环境信息控制研究具有一定意义，运用前景广泛。设计系统具备两路眼动视频监测及眼球运动的实时检测能力，同时可实现相应的远端视频图像获取及云台移动、摄像头对焦同步，具有完整的高速处理系统特点，整体数据吞吐能力超过100Mb/S，同步速率达到10次/S。

方案设计和实施计划系统设计

本作品的系统设计示意图如图1所示：

图1 系统设计图

系统按照功能分为4个模块：

云台模块，由云台、摄像头和步进电机组成，主要功能是控制云台摄像头的水平转动、俯仰运动和自动对焦，并采集图像；视频眼镜模块，由视频眼镜及其控制板，内置两个微型摄像头组成，主要功能是用于显示云台摄像头采集的图像并通过内部放置的两个微型摄像头采集人眼图像；图像处理及显示平台，采用Intel低功耗ATOM系列处理器平台，安装Windows XP操作系统，由液晶显示屏显示界面，主要功能是显示工作界面，实现人眼运动识别并返回计算结果；主控制板，采用FPGA为主处理芯片，带有高速存储器和串口、视频接口、云台接口等，它是整个系统的核心控制模块，主要功能是负责与云台、图像处理平台和视频眼镜之间的数据交互，管理整个系统的数据流和控制流；

工作流程

整个工作流程如下图所示：

图2 工作流程

通过视频眼镜内部的两个微型摄像头采集人眼图像，图像处理平台实现人眼的运动识别，主控制板根据图像处理结果控制云台摄像头的移动和自动对焦，并将摄像头采集的图像在视频眼镜中显示；继续对人眼进行监控判断，形成不断循环的闭环运行流程。

研究的主要内容模块组成云台模块

云台模块由云台、电机模块、摄像头和外接口组成，它的功能是控制电机的转动从而实现摄像头的水平和垂直方向的运动，同时把摄像头采集的图像输出。

云台采用PTS-3030CQ型号的吊装云台（图4-1-1-1），内置两个24V交流电机，水平旋转角度最大为355度，俯仰角度范围为-5度到50度。由于该云台需要交流供电，不满足本项目要求，所以将原有的交流电机更换成直流步进电机。

图 4-1-1-1

电机模块由两个12V直流两相步进电机（图4-1-1-2）和配套的电机驱动器组成。步进电机的步距角为1.8度，最大静力矩约为3600 g*cm，如图1-2所示。驱动器的驱动电压小于40V，驱动电流0.8—5V可调，细分数可由拨码开关设定1/2，1/4，1/8，1/16。

图4-1-1-2

摄像头采用彩色一体化摄像机（图4-1-1-3），成像元件是SONY CCD image sensor，PAL制信号输出，22倍光学变焦，同时有自动聚焦和手动聚焦两种模式，可以通过RS485协议对摄像头进行相关控制，摄像头所需电源为12V直流电压，200mA电流。

图4-1-1-3

外接口采用25针接插件，主要功能是整合云台内部所有控制线，方便与外部连接和使用。外接口定义如图4-1-1-4所示。

图4-1-1-4

云台模块通过更换电机，安装摄像头，整合所有控制线到外接口从而实现对原有的云台改装，满足本项目实际需要。

视频眼镜模块

视频眼镜模块由headplay视频眼镜，两个微型摄像头和USB视频采集卡改装而成，两个微型摄像头放置在视频眼镜内，同时其视频线连接到USB视频采集卡上，主要功能是一方面使用者戴上视频眼镜能观看视频，另一方面两个内置的微型摄像头采集使用者左右眼图像，通过USB视频采集卡发送到上位机用于瞳孔定位和识别。

视频眼镜采用headplay视频眼镜（如图4-1-2-1、4-1-2-2、4-1-2-3所示），它的显示器类似PC的显示设备，采用先进的LCOS硅基液晶，解析度高且省电，同时可提供640*480、800*600、1024*768三种规格分辨率，带来52英寸的视觉感受；在显示器的下方设置有2组可调滑块，用户可根据实际佩戴需求调节焦距和左右屏幕的距离。另外这款视频眼镜具有丰富的外围接口，提供AV、S-video、VGA三种接口，并支持PAL、NTSC和SECAM格式；同时支持CF、USB设备，能读取图像、音频和视频，并具备视频解码能力，支持MP3、MPEG3、MPEG4、AVI、JPEG等。

图4-1-2-1

图4-1-2-2

图4-1-2-3

微型摄像头采用XL-3010CP4超微型摄像头（图4-1-2-3），尺寸仅为12mm*12mm，1/4 SONY CCD，PAL制（582*500）视频输出，12V直流电压和100mA电流供电，

图4-1-2-3

USB视频采集卡采用一路easycap视频采集卡（图4-1-2-4），输入接口有AV、S端子和音频输入，可将采集的视频和音频通过USB口传输到电脑上播放或存储。

图4-1-2-4

图像处理及显示平台

图像处理平台采用IEI Technology Corp的WAFER-945GSE母板（图4-1-3-1,4-1-3-2），主要功能是处理USB视频采集卡采集的左右眼图像，识别人眼的运动方向，并把计算结果通过串口发送到信号处理板。

WAFER-945GSE母板基于Intel Atom系列低功耗处理平台，1.6GHZ的时钟频率，533MHz前端总线和512KB L2 cache，同时外围接口丰富，如网口，串口，USB口，VGA，LVDS等。本项目中在该板上安装XP精简版操作系统，运行VC程序实现图像接收、处理和结果发送功能。

图4-1-3-1

图4-1-3-2

主控制板

主控制板采用FPGA为主处理芯片，带有高速存储器和串口、视频接口、云台接口，通过各个接口与图像处理平台、视频眼镜和云台之间实现数据交互，管理整个系统的数据流和控制流。

下图是主控制板设计图：

实物图（第一版）如下图所示，第二版已经投出。

主要芯片介绍：

XC3S1200：可编程逻辑器件（FPGA）

FPGA 的优点：易于实现并行处理；易于实现流水线操作；通过开发工具在计算机上完成设计，电路设计周期短；对硬件系统可靠性高，程序跑飞可能性不大；规模越来越大，实现功能越来越强，同时可以实现系统集成；可反复修改逻辑。FPGA在系统中起桥接作用，又是系统的主控者，由它来完成外围芯片的控制，及数据的传输。

XILINX公司的FPGA目前分为2大类：Spartan类和Virtex类，前者主要面向低成本的中低端应用，是目前业界成本最低的一类FPGA；后者主要面向高端应用，属于业界的顶级产品。这两个系列的差异仅限于芯片的规模和专用模块上，都采用了先进的0.13、90甚至65制造工艺，具有相同的卓越品质。

目前，比较流行的FPGA类型是Spartan3E系列，其家族列表如下：

综合考虑各系列FPGA的块RAM容量和最大可用I/O数以及处理速度等指标，选用中Spartan3E系列的XC3S1200E，其封装为FG676。

SAA7113:8位视频解码芯片

SAA7113是飞利浦公司视频解码系列芯片的一种，非常具有代表性，在很多视频产品如电视卡、MPEG2、MPEG4中都有应用，熟悉了7113的原理后，对其它系列芯片SAA7114、7115、7118就会很容易理解。SAA7113的主要作用是把输入的模拟视频信号解码成标准的“VPO”数字信号，相当于一种“A/D”器件。7113兼容全球各种视频标准。

ADV7179:8位视频编码芯片

ADV7179适合各种优先考虑封装空间的视频应用，如第三代移动电话或数码相机等，提供视频输出功能。该器件采用紧凑的芯片级封装，尺寸仅为6 mm x 6mm，并提供适用于CCIR656标准视频输入的选项，内含或不含嵌入式时序信息。视频性能不受影响。它具有高级滤波功能（SSAF滤波器）和最高达-80 dB的专业级视频信噪比(SNR)，可在小屏幕上实现出色的显示质量。

(4)SP3220:串口通信芯片

SP3220E包含一个高效电荷泵，工作于3.3V电压时，只需0.1μF电容即可操作。该电荷泵允许SP3220E在+3.3V到+5.0V的电压范围内发送符合RS-232协议的信号。SP3220E的ESD保护使得收发器的管脚可承受±15kV的人体放电模式和IEC1000-4-2气隙放电模式。
SP3220E包含低功耗关断模式，该模式下驱动器输出和电荷泵将被禁止。关断状态下，电源电流低于1μA。

程序设计1 上位机程序设计

上位机程序采用VC6.0开发环境和OpenCV图像处理库编写，主要功能是通过处理人眼图像，识别人眼的运动，从而判别人眼注视方向。并将计算结果通过串口返回给主控制板。

界面效果图

程序流程图

瞳孔定位算法

本算法主要基于图像的灰度分布来定位人眼瞳孔和轮廓，根据左右眼瞳孔和轮廓的位置来判断人眼的注视方向，具体步骤如下所示:

第一步，将左右眼图像转换成320*240的图像；

第二步，选择合适的阈值将灰度图像二值化，使眼部轮廓清晰地呈现出来，然后从图像的四周开始向内寻找眼部轮廓找，并用矩形画出眼部轮廓；

第三步，将图像转换成灰度图像，选择合适大小的区域，在眼部轮廓中寻找灰度最小的那块区域，取该区域的中心设为检测到的瞳孔位置；

第四步，根据左右眼瞳孔与眼睛的轮廓的位置关系和移动情况，设定合适的阈值来判断人眼的注视方向（上、下、左、右、平视）；

第五步，将计算结果发送给主控制板，由主控制板控制云台电机的转动带动云台摄像头的转动。

FPGA程序设计

程序分为串口接收与云台控制部分和视频处理部分。两部分程序并行运行，相互保持独立。

2.2.1

串口接收与云台控制部分

通用板处理后结果用串口发送到串口接收与云台控制模块，此处对命令进行译码，分别进行云台电机的运动控制和摄像头的拉远拉近以及聚焦的控制。

2.2.2

视频处理部分

先配置编码芯片和解码芯片，对视频输入信号进行行，列，场的分辨。视频处理主要包括字符叠加，颜色的改变，二值处理等等，处理完的视频信号叠加上行场信号进行输出。

2.3硬件电路设计

主芯片采用BGA封装，其他芯片为SMA表贴封装，电路板为八层，信号线宽为5mil，电源线宽30mil，板厚2mm, 为了保证信号完整性，其中4层为信号走线层，两层地层，两层电源层，信号层之间用地层或电源层隔开，相邻信号层走线尽量保持垂直。

设计性能指标双路人眼图像的分辨率为320x240，平均处理速度为10帧/秒；视频眼镜双路VGA视频显示，分辨率为640x480，帧频为25帧/秒；水平方向视场范围为0到355度，竖直方向视场范围为-5到50度，水平转动和俯仰运动的最小角度是0.9度；水平方向视场最大转速约为20度/s,垂直方向视场最大转速约为10度/s；；

创新点和结论将远端摄像头与人眼的观察动作同步，实现观察范围和对象的自动调整，整个控制过程符合人体用眼习惯，方便快捷;将专用系统平台（硬件和软件自行设计）和通用系统平台（软件设计）高效联合使用；模块化设计，方便二次开发，可作为高校学习和实验的平台。

成果的应用前景医疗电子领域

在现场手术和远程医疗中，利用高性能摄像头可以辅助医生准确精细进行手术，同时操作更加方便、人性化；

车辆驾驶

驾驶者可利用该系统通过人眼的移动控制车辆的行驶方向，为残疾人群驾驶车辆提供可能；

探测和监控

将该系统组装在机器人上，用于在极端环境或者对人体有害的环境等条件下远程控制机器人探测目标；

消费电子领域

基于视觉信息的人机交互可应用于3D游戏和家庭影院；

军事领域

可应用于头盔显示器，在车辆、飞机驾驶员以及单兵作战时的命令传达、战场观察、地形查看、夜视系统显示、车辆和飞机的炮瞄系统等；

心理学科学研究

通过设置特定视频场景并实时获得眼球动作,一定程度上可获得测试者心理表现的信息，相应的技术结合脑电及心电的监测可以促进对人体系统信息反映及心里活动的研究；

实验平台

模块化设计，可作为高校课程实验和课外创新活动的平台，学生可以编写自己的算法实现不同的功能。

虽然我国在此领域的研究和开发工作已经开展，但是目前国内市场上尚无具有完全自主知识产权的同类产品。由于其在民用和军用方面的广泛和重要的应用，其经济效益十分可观。