用于图像编码的超解像技术

NHK放送技术研究所于正在举行的“技研展2011”上，公开了进行了将超解像技术应用于图像编解码的技术演示。该技术通过在原来的图像编解码技术的基础上“外加”视频缩小(降频转换)和超解像技术(升频转换)，来避免在编码时使用过高的压缩率，以减轻画质劣化。

　　具体做法为，首先对分辨率高的图像进行图像缩小处理。然后，采用原来的H.264对该图像进行编码。传输后，再用H.264进行解码。至此还保持着图像缩小后的尺寸，因此还需要采用超解像技术将其恢复到原来的图像尺寸。

　　据介绍这样做的优点在于，无需改变原有的编解码技术，就能利用外加的技术和系统改进编解码。编码时能够选择合理的压缩率，具有减轻画质劣化的效果。

　　随着图像缩小产生的画质劣化较轻。原因是将图像缩小时采用的各种参数及画质补偿信息作为辅助信息发送到与影像数据不同的影像接收端，以供利用超解像技术恢复图像时使用。

　　之所以能够实现上述技术，是因为超解像技术的发展。“原来的超解像技术存在边缘处理方面的技术课题”(解说员)。最近，该课题得到大幅改善，因此才实现了此次的应用。

　　不过，现在存在的课题是数据处理复杂，处理时的负荷和延迟较大。一般而言，图像编码技术的编码处理越复杂，处理规模越大，就越能够获得劣化少的图像压缩效果。此次的方法是否真比上述的一般编解码改善方法有优势，将是今后探讨的课题。

　　“水的流动优先”还是“边缘优先”?

　　此次，NHK技研作为具体的安装方法，提出了A和B两种方法。

　　方法A是在图像缩小时根据图案来改变像素压缩率的方法。图案复杂的部分降低压缩率，而图案简单的部分则大胆间隔像素以大幅缩小图像。

　　这样，缩小后的图像变为压缩率随着图案明显不同的变形图像。这一点在将压缩率不同的数据作为辅助信息发送给接收端并采用超解像技术恢复时使用。“方法A适于再现水的流动及光的反射等随机动态数据。不过，在安装到处理电路的硬件中还需要解决很多问题”。

　　方法B则是通过发送端掌握源于图像缩小和编码处理算法的图像劣化信息，并将其用于优化图像缩小技术的方法。

　　具体做法是首先将通过编码缩小了的图像数据通过发送端解码及采用超解像技术复原。然后，将复原后的图像与原来的输入图像进行比较，调整图像缩小时的参数，以使源于图像处理算法的图像劣化降至最小。劣化信息作为辅助信息也发送给接收端。

　　方法B“最适合图像不连续变化的边缘处理。有时还采用小波分析等易于实现硬件电路的技术，比较容易安装”(解说员)。据NHK技研介绍，今后还将探讨将方法A和方法B相结合的方法。

　　利用超解像技术的新图像编码技术的概要。通过演示可以看出，采用新技术输出的图像比利用原编码技术形成的图像劣化明显减少