三维视频深度图像处理及其ASIC实现

摘 要： 基于自适应色度分割方法，采用专用集成电路（ASIC）完成深度图像的处理及优化。系统级仿真验证结果表明，该深度图像处理方法具有实时性、兼容性、实用性等特点，适用于实时自由视点3D视频的处理。
关键词： 专用集成电路设计；自由视点视频；深度图像；色度图像分割；运动-视差联合预测

自由视点视频FVV(Free Viewpoint Video)技术是自由视点3D视频处理领域中最有前景的一种技术[1-4]。自由视点视频处理技术的基本方法是基于深度图像来估计和重建多视点视频，从而显著减少数据带宽。所以深度图像的估计和处理方法是自由视点视频技术的关键和重点。
深度图像可以直接由基于运动-视差联合估计的方法计算，利用这种方法能够有效减少自由视点视频技术中深度图像处理过程所需的数据带宽，并且没有增加额外的硬件资源和计算时间成本。但是这种方法是在一个特定的搜索窗口内用特定的代价函数来进行块搜索，所以它存在一些问题：在物体的边缘存在着块效应；在连续的大背景区域、复杂背景区域存在预测噪声。基于色度分割的方法可以改进这些错误。
1 色度分割原理
原始的YUV图像是由亮度分量和色度分量组成的。在一般的运动-视差联合估计的方法中，只有亮度信息被用到，以求得视差矢量和深度图像，包含有丰富的物体边界信息的色度分量没有被用到。对于连续物体表面或者背景区域，色度分量值几乎是相同的。所以如果色度图像按照特定的标准被分割，物体的表面或者背景区域就能被相应地检测出来。如果深度图像的像素值在同一个分割内各不相同，则在这个区域肯定存在深度预测错误。通过检测到错误像素的位置，采取相应的措施来纠正这些错误。
色度分割方法的三个步骤[5]：
第一步：将U/V分量归一化到[0，255]之间。
第二步：进行图像分割，如果当前像素值与其相邻的顶部或者左侧像素值绝对值小于DIV_TH，则它被划分到相同的分割，否则分离到下一个新的分割，如式(1)所示：


2 深度图像处理模块设计方案
2.1 总体设计
2.1.1 深度处理模块的架构与组成设计
根据算法结构与组成，确定深度模块的实现架构与组成，包括总线结构、存储结构、时钟频率、模块组成等。
总线结构选用标准AXI总线。由于立体视频需要实时处理多路视频信号，所以需要的视频数据处理带宽极大，必须采用AXI总线设计才能满足实时处理要求。内部模块所产生的处理数据，如果不能暂存于片上存储单元中，则通过AXI总线写到片外缓存。同样，读数据也通过AXI总线读入处理模块。存储结构根据视频像素YUV分量的组成，分为Interleave存储方式和非Interleave存储方式。Interleave存储可以实现具有较长Burst传输的DMA设计，但是内部芯片设计较为复杂。而非Interleave存储则不利于实现高效的总线传输，但是DMA设计相对简单。根据所用的标准单元库，以及芯片实际电路设计来确定所需的时钟频率,根据经验应不低于200 MHz。
2.1.2 运动估计与视差估计存储单元设计
由于需要对当前块同时进行运动预测与视差预测，所以宏块中间预测结果需要尽可能存储于片上存储单元中，以减少总线的输入输出数据带宽。假设视差估计的搜索窗口为PW×PH，图像分辨率为FW×FH，运动预测采用固定搜索窗口范围48×48。视差预测模块与运动预测模块同时读入相应参考宏块存入片上缓存，片上存储单元需要将进行完预测、并且后续预测有可能会用到的宏块都存储下来以减少数据带宽，增加处理速度。这样，运动估计存储单元MEM（ME Memory）至少需要有16×3+4个像素行的容量，即FW×52。相应视差存储单元DEM（DE Memory）至少需要有FW×PH+4容量。
2.1.3 芯片软硬件验证平台设计
芯片设计离不开验证平台。大规模集成电路设计过程需要完善的验证平台进行仿真、测试来证明其功能和性能的正确性、完整性、实时性。立体视频编码芯片基于传统的Verilog和C语言来搭建软硬件验证平台，如图1所示。