物联网的智能视频接入终端一高清晰智能相机的研制与应用

通过将多个智能相机组成的阵列部署在现场，并与设在相关载体上的传感器有机融合,然后通过实时数据采集与分析、监视信息的分布式获取，即可形成全方位、全时域的多维监视、预警和管理体系。

与传统的基于传感器架构的物联网结构不同，使用智能相机作为接入节点的嵌入式网格系统具有可重构和自组织能力。智能相机不仅可以把过去需要长时间才能完成的目标信息的处理和传送任务压缩到几分钟甚至几秒钟，还可以通过大规模节点部署来有效避免盲区，故为防汛、消防、预警和应急联动提供了精确的实时目标定位信息。同时，其感知能力也不会因某一节点的损坏而导致整个监测系统的崩溃。

1  智能视频分析网格节点

本项目利用智能相机来作为信息分析系统的接入终端。每一个智能相机就是一个网格的节点。智能视频分析网格节点如图1所示，在图1中，前端视频采集主要使用面阵可见光CCD或者红外图像传感器来完成视频信号的釆集，然后输出数字信号到视频编码板。视频编码板使用TI公司的DSP进行实时高效的H.264压缩编码并作为原始图像记录，视频分析板则把输入的视频流通过后续的TI公司的DSP进行相应的视频处理分析。 

由于高清智能相机的强大分析能力和物联网结构相对复杂和信息量大等特点，一个系统很可能同时需要视频的多种处理方式,例如智能交通中的偷、盗、抢和套牌车辆的识别和跟踪，可能需要分析和识别很多同时在高清晰图像中出现的其他车辆。因此，需要设计出可以同时级联多达八块DSP视频分析板的设计方案。各个DSP之间既可以级联工作，也可以同时并行工作。

每一块视频分析板的底层硬件系统设计都是一致的，只需给不同板子加载不同的处理算法,便可实现不同的处理功能，例如，第一块加载夜间低照度图像增强算法、图像去雾算法，第二块可以加载在完成去雾处理后实现目标的准确跟踪和定位算法,第三块加载红外目标检测和跟踪算法,完成夜视目标识别功能等。每一个智能相机均配备有无线、有线和3G网络接口。

2  基于网格的分布式物联网技术框架

传统物联网堂的“技术体系”框架如图2所示，它包括感知层技术、网络层技术、应用层技术和公共技术。但是，笔者在研究与交流中发现5〕，许多工程人员在理解“物联网的构架"时，常常与图2所示的“技术框架”混淆在一起。

物联网的构架应当是以“服务”为最终目标的、具有网络特征的硬件和软件系统。针对不同行业而言，其硬件特征和网络结构也千差万别，但其共同的“技术框架”均可以描述成图2所示的各类“基本元素”。

因此,与传统物联网不同的是,基于智能视频的网格物联网在具体的应用中具有下面几个优点：

第一是感知可视化，即通过数个智能相机可以生成实时全景图，以实时观察监控现场的实际情况，系统通过对各个接入节点信息的分析，自动制定出合理的处置方案。

第二是设备人工智能化。全自主式具有人工智能分析决策的智能相机具有数据釆集、分析和处理的能力。基于智能视频的网格物联网能将包括人在内的场景可视信息相互连接，并允许他们相互通信。新一代网络协议、嵌入式智能芯片技术和计算机视觉技术均可以让目标物体用自己的“大脑”来运算和分析。

第三是应急救援物资、生产后勤保障准确化。基于智能视频的物联网可以有效避免后勤工作的盲目性。伴随着射频识别技术、二维条码技术和智能传感技术的突破，物联网无疑能够为自动获取“在储、在运、在用”物资信息方面提供灵活的可视性解决方案。在安全生产、应急救援等各种活动的全过程中，实现在准确的地点、准确的时间向准确的对象提供数量适当的保障,从而避免造成不必要的混乱和浪费。

3  基于智能相机的智能交通环境监视和去雾研究

在构建基于网格的嵌入式智能相机的信息处理系统的基础上，可以对每一个终端动态配置其功能，使每一个终端既能独立完成自己的任务，又可以协调工作。这样在实际工作中，就可以为不同的智能摄像机分别配置不同的图像增强算法来完成大范围内的环境监视和目标识别任务。在本项目首先针对某些地区的多雾情况开展研究。

众所周知，在恶劣天气条件下(如雾，雨等)，大气能见度下降，致使光学器材获取的图像对比度下降,从而影响图像中的信息提取E,雾这种常见的天气现象会对景物产生白化作用3也，故会使图像退化，以至模糊，而这将给军事侦察、自动导航、目标跟踪等带来很大的困难。因此对这种自然现象引起的图像质量下降开展图像信号处理的研究具有普遍的实际意义。

图像去雾就是采用一定的方法和策略对采集到的含有雾的图像进行处理，从中恢复出比较清晰的图像。去雾算法的研究，对于部署基于智能相机的网格监控系统具有比较重要的应用价值，同时，对沿海和相关地域的应用也具有较高的指导意义。

3.1  基于暗通道先验规律的去雾算法

在有雾天气下，监控系统捕获场景图像的颜色和对比度都会发生严重的降质。这种现象主要是由大气粒子的散射作用引起的。大气散射的物理本质是高度复杂的，在不考虑大气扰动等现象发生时，可以假设此时的天气条件(包括大气粒子的类型、密度等情况)是空间不变的，这样，到达感光器的光强就可以简单的等效成大气衰减后的场景辐射和因大气悬浮粒子的散射作用而进入传感器的环境光强两部分的线性组合。

雾图形成模型在计算机视觉和计算机图形中被广泛应用。雾越浓，介质的透过率越小，到达传感器的光强中实际的场景辐射衰减的就越严重。利用这个模型可通过求得全局大气光和介质的透射率来从一幅含雾图像中恢复出原始的清晰图片，即场景辐射。

3.2  局部暗通道先验规律

局部暗通道先验规律是有关文献提出的一个统计规律，该规律假定在不包含天空区域的户外无雾图像情况下，对于任何一个像素点,在它周围的范围内，至少有一个颜色通道具有很低的亮度值，而对每一个像素点，都以这样一个最小值来取代其本身的亮度,于是便可以得到暗通道图。大量统计数据表明，除了天空方位,户外无雾图像的各个像素点的强度总是很低，并且趋近于0,这就是暗通道先验规律。

3.3  估计全局大气光

考虑到原始输入图像，在这N个位置所对应的像素点中分别求得红色，绿色，蓝色分量的最大值。它们就组成了全局大气光(Ar,Ag,Ab)_o在这个方法中，A的三个颜色通道的亮度值并不单一的来自原始输入图像中的某一个像素点，而更多时候，它们分别来自三个不同的像素点，于是能在一定程度上避免将原始输入图像中的白色物体误选为全局大气光。

3.4  实验结果分析

釆用文献［11］的方法可以指导我们进行去雾算法的研究,并将实验成功的算法移植到智能相机上。其实验结果如图3所示，图3(a)是去雾前的城市的照片，图3(b)是去雾后的照片。图3(c)是去雾前海面的照片，图3(d)是去雾后的海面照片。从实验结果看,去雾算法的效果非常明显。

设计的最终目标是将各类图像处理算法移植到智能相机里，这样一来，各个相机作为终端节点就可以更有效的接入到整个系统中。图4所示为本文研制的智能相机的部分硬件系统实物图，其中图4(a)是200百万像素CCD成像板背面，图4(b)是200百万像素CCD成像板正面，图4(c)〜(d)是图像处理板的背面和正面实物图。

笔者目前已经成功地研制了高清晰智能相机的系列产品，并具有全部知识产权。图5(a)所示是一款样机。图5(b)是其内部结构。图5(c)是利用智能相机上的Web服务器通过网络浏览器看到的实验室外面建筑物的外墙的高清晰图像。在长距离成像的条件下(200m),可以清晰地看到外墙上的斑点和窗户护栏的锈迹。

图6所示是针对智能相机开发的智能交通车牌识别算法和实际应用。

图6中给出了利用DSP算法实现的智能交通中的车牌监测的试验结果。实际的算法已经在智能相机中实现并应用到具体的工程中。针对200百万像素的图像,该系统可以检测出多达数十个位于多车道中的车牌信息。图6中的图像拍摄于西安电子科技大学北校门外的二环路上，拍摄时间是2009年5月8日，笔者将多个车牌粘贴在图像上进行智能相机的性能测试，多个车牌的亮度、对比度、色度等参数都根据不同的天气情况进行了调整。从图中可以明显地看出位于树木、车体等复杂背景下的车牌均可被准确的定位出来。在图6中，只有一个最黑的车牌没有被定位出来。

4  结论

基于嵌入式智能相机的物联网研究在国内外尚不多见。对嵌入式智能相机的研究，不仅可为传统的物联网接入提供一个新的数据接入形式，而且可以使接入终端具有动态可重构的新功能。以智能相机为接入终端来研究物联网构建过程中的新型网格结构和安全策略，可以为研究物联网的数据安全引入一个新的思路。

在积极推进智能相机的产业化工作的同时，应当积极推进基于智能相机作为接入终端的物联网的行业应用，并应在风力发电、新能源、低碳经济模式等领域积极开展多方合作。

本文所讨论的研究成果对相关领域的研究和应用都具有比较重要的价值。