图像质量分析:客观视频质量的实时测量

概览

数字声频与音频为消费者提供了立体声且高清晰度的声频体验，而相关测试则从传统的静态、单帧像分析，转换为动态测试、图像质量分析。 虽然单帧像分析可提供信号定时、色深、线条同步化，以及更多有用信息，但压缩/解压缩算法与缓冲错误的数字影像也常造成瑕疵，且无法通过单帧像所察觉。 常见错误则包含宏区块、帧像停滞、声频遗失与截断，或像素化。 此篇教学指南概述了图像质量分析，并说明NI Picture Quality Analysis软件应如何搭配NI Digital Video Analyzer使用，侦测数字声频与视频的瑕疵或假影。

HDMI串流的常见瑕疵

首先应了解图像质量分析，从而知道数字视频系统可能产生的瑕疵类型。 而用户自己就能发觉最常见、最重要的瑕疵，如宏区块、像素化、帧像模糊、停滞、遗失、声频截断和LipSync。

宏区块– 数字影像往往是通过MPEG 4或H.264压缩成多个8x8色块。 若压缩/解压缩算法之间并无高度相关，则可能产生多个定义边缘的区域。 这就是宏区块。

图1. 若原始图像的解压缩效果不佳，宏区块就可能在解压缩后的像素之间形成定义边缘。

若传输期间遗失数据，则解码器将无法正确读取数据区块从而检索原始的像素数据,这样会造成明显的掉色区块错误。 与宏色块相比，虽然这些错误均较为少见，但仍极为明显。

图 2. 因数据遗失与错误解码而产生的像素化错误。

– 在解码或调整期间，可能遗失高频率的组件，进而在边缘之间遗失定义，或出现模糊的情况。 视频信号将因此丢失清晰度或鲜明度。

图3. 模糊将使视频信号产生不清晰的边缘。 图左在黑、白边缘之间的定义较不明显。

从图1到图3呈现了单一图像的模糊、像素化、宏区块;这些瑕疵往往不会再各个帧像逐一出现，而必须全时间完整测量设备以获得正确的结果。其他瑕疵如帧像停滞/遗失、声频切割、LipSync (声频/视频同步化)，也需分析多组帧像。

图像质量分析评分

图像质量分析即测量视频流的整体。 因此汇集了专业技术人员观看视频，并以其专业的主观角度评分，设立了Differential Mean Opinion Scores (DMOS)。 但此方法仍有许多待解的难题，如训练技术人员的成本，还有操作人员观看屏幕的重复性成本。 另一个重大挑战则是关于主观测试的质量。 在制造过程中，根本不可能聘请视频质量专家观看各组设备的生产细节，只能让水平较差的操作人员观看视频并评分。 因此如分心、疲劳、眼睛过度刺激等人为因素，均会降低产品品质而让劣质品过关，由此促使了工程师必须重新设计影像测试的方法。

较好的图像质量分析方式，即必须能重复套用客观的测量方式，以测量音频与视频的质量。 目前有多种算法，均与专业操作人员的主观评分相关。常见的两种测量之一为峰值信噪比 (PPSNR)，它是以均方差 (MSE)以及德州大学图像与视频工程实验室(LIVE)的Al Bovik教授和其团队，所设定的结构相似性(SSIM)指数为构架。 此项指数已成为最具公信力的视频质量测量指数。 只要套用如PSNR与SSIM算法，即可通过自动化、可重复的测量方法，轻松评定视频质量。

图4. 爱因斯坦照片的比较，代表了不同的失真程度： a) 参考图像, b)平均对比伸展, c)亮度平移, d)高斯噪音污染，e)脉冲噪音污染, f)JPEG压缩, g)模糊, h)空间缩放 (缩小), i)空间平移 (向右), i)空间平移 (向左), k)旋转 (逆时针), l)旋转 (顺时针)。

下载 “Image Quality Assessment: From Error Visibility to Structural Similarity” 由Zhou Wang与Alan C. Bovik撰写，并被IEEE Signal Processing Society授予最佳学术文章奖。

另一种视频质量测试方法是测量视频与音频内容的特定假影。 此时可套用特定瑕疵算法，以找出视频中的特定错误，如方格或帧像停滞/遗失。 许多生产应用不太需要如PSNR或SSIM的高性能测试。 反之，往往仅需确认没有产生宏区块、声频切割、视频停滞即可。 通过特定瑕疵的测量，即可迅速决定该款设备是通过还是失败。

具备NI Picture Quality Analysis软件的NI Digital Video Analyzer能够测量特定瑕疵，也可达到如PSNR与SSIM的高图像质量测量。 通过用户定义的测量，即可套用自定义的算法，以建立完全自定制的图像质量分析应用。

图5. 针对水平与垂直空间中的宏区块，需采集并分析1080p60的视频流。

参考与无参考测试

针对视频/音频流，进行图像质量分析测量的方法目前有三种。

1. 无参考测试: 不论图像内容如何，此方式可将测量套用至任何系统。 而此测量方式的挑战之处在于，因分析图像内容的不同，测量结果的差异也相当大。

2. 简化参考测试: 简化参考测试则需要“金级”或理想样本设备。在测量了金级样本设备的音频/视频质量之后，其它设备即根据金级样本结果进行测试，以定义该系统是通过还是失败。

3. 完全参考测试:: 完整参考测试也需要金级的样本设备。但不同于简化参考测试(分別测量测试与参考流)，完整参考是将2组串流依像素进行分析。它是目前功能最为强大的测试，但针对参考串流的分析，其处理/存储/检索的难度更高。PSNR与SSIM测量均属于完整参考方式。

图 6. 图片质量分析共有三种方式： 1)左图的无参考测试，可用于未知或无法重复的视频串流, 2)中间的简化参考测试，是在测量参考与测试流完成之后，再进行比较，3)右图的完整参考测试即在测试与参考流之间进行像素比较。

触发

当使用简化或完整参考分析时，必须同步化测试与参考流，以实现精确的比较。尽管同步化的方法有多种，但最理想的方式包含：

如果可在感兴趣区(ROI)中辨认文字，则可使用光学字符识别(OCR)方式。 视频串流上的框架计数器是OCR的最佳范例。通过OCR可轻松地在任何特定框架上设定触发器。

若串流的亮度大幅变化，如相机角度变化或其他亮度增强时，强度阀值是理想的触发方式。此方法的关键就是必须找出触发器的ROI，且不会触发序列中的其他点。

模式对比则常见于参考与测试流之间的触发采集。 而此方法的难点在于，框架N与N+1太过相近，会在错误框架上触发模式对比触发器。 使用模式对比触发器的最佳方式就是针对单一框架，为视频流(例如色条)插入已知模式。 接着即可将此框架作为模式对比。

图7. 最理想的三种同步化方式是：模式对比、强度阀值、光学字符识别。

NI Picture Quality Analysis软件均具备这些触发方式，更适用于任何应用或视频流。也有用户定义的触发器，可针对分析器写入自己的触发算法。

NI Digital Video Analyzer与NI Picture Quality Analysis软件(NI PQA)

NI Digital Video Analyzer与NI Picture Quality Analysis软件，可为HDMI串流视频/音频测试应用提供必要的软硬件。 硬件以PXI Express技术为构架，可采集1080p60、 HDCP加密的图像内容，并可套用相关函数库客观测量图像质量。

NI Digital Video Analyzer搭配NI Picture Quality Analysis软件可提供强大的算法，并在多媒体设备的设计与检验期间，进行视频的参考测试。 针对更高传输率的应用，NI Picture Quality Analysis软件可提供高性能的实时测量，避免操作人员发生错误或主观性测试。可配置的介面选用参考/无参考测试、直接进行预先建立的测量、设定限制，并自动化应用。