用自动脚本测试进行视频质量分析
时间：2018-06-27 17:00:10
手机看文章
扫描二维码
随时随地手机看文章
[导读]
随着视频设备变得更复杂以及上市周期的变短，质量保证(QA)和质量控制(QC)测试人员要在更短的时间内测试更多的功能。通常测试人员而只是杂乱地测试一些基本功能。视频质量测试结果到底怎么样？你是否知
随着视频设备变得更复杂以及上市周期的变短，质量保证(QA)和质量控制(QC)测试人员要在更短的时间内测试更多的功能。通常测试人员而只是杂乱地测试一些基本功能。视频质量测试结果到底怎么样？你是否知道你的系统存在一些性能缺陷和失真？
设计和制造过程中的视频质量测试
随着数字电视(DTV)的出现，视频处理有了巨大的改变。几乎所有的视频被压缩，量化，通过广播和IP方式分发，以及解压缩。这为视频技术厂商提供了机会。
但是，这些机会涌现的速度极其危险。高技术设备从概念到供货的平均上市时间从90年代的5到6年缩短到目前的一到两年。最早提供一款高质量产品的厂商还可以勉强处于可持续竞争的边缘。随着更多公司相互竞逐而在很短的时间内加入更多的功能，从产品的开发速度到系统的验证速度，产品的许多控制因素都发生了改变。
Video Clarity公司创造了一个突破性的视频质量测试解决方法，使得设备制造商增加覆盖并投入更多的时间到创造性测试上。该技术名为“ClearView”，是一个具有脚本的自动化视频质量测试系统。ClearView包括一个非压缩的视频服务器，一台视频录像机，一台视频播放设备，以及一台定量视频质量记录仪。通过在一台设备上提供所有这些设备功能，ClearView成为一套完整的测试系统，可以实现先进的视频质量评估和比较。
Video Clarity公司的ClearView系统为软件开发人员、硬件设计师、QA/QC工程师、视频研究人员以及生产和视频分发机构提供了一系列视频质量分析工具。ClearView对视频进行播放、录像、显示和视频序列分析。该设备能够从任何源文件、数字或模拟源，例如SDI、HD-SDI、DVI、VGA、HDMI、分量视频、复合视频或S端获取视频内容。不管是什么输入，ClearView都能接收并将其转换成非压缩的 4:2:2 Y'CbCr, 4:4:4 RGB、ARGB、或RGBA。这使得编解码器能够方便地被相互比较和评估。
1. 全基准方法(FR)
2. 降低的基准方法(RR)
3. 无基准方法(NR)
你是否曾经想过将你的H.264/VC-1 & MPEG-2与其它的进行一下比较？现在就可以！你还可以测量视频延迟和音视频唇同步。
和数据压缩相似，视频压缩需要在磁盘空间、视频质量和在合理的时间内对视频解压缩所需的硬件成本进行折中。不过，如果对视频过压缩，就会出现可视缺陷。这正是视频质量测试和测量的使命，以便对视频质量进行精确的建模。
在任何视频质量测量之前，只需将视频数据对齐。将会出现下面一些有关对齐的问题：
1. 处理后的视频时间上与原视频信号对不齐
2. 处理后的视频水平方向上有移位
3. 处理后的视频竖直方向上有移位
4. 处理后的视频有色彩保真度损失
5. 处理后的视频音视频不同步
时间对齐
客观度量视频质量是逐帧进行的，故视频序列必须时间对齐。由于通常并没有色栅/校准条，ClearView从一个视频帧开始，并将该帧放到视频序列中的另一个帧中，使之具有最小的差和(sum-of-difference)。ClearView然后进行修整使视频序列时间上对齐。
空间水平对齐
1932年创立的隔行视频，用来减小因CRT在刷新时间内无法遍及整个屏幕所引起的颤动。在数字电视规范中也用了隔行视频，因为对于一定的线数和刷新时间，可以将信号带宽降低一半。但是，只有CRT才可以显示隔行视频。于是，只有通过去隔行才能在DLP、LCD和等离子电视上显示隔行视频。由于去隔行算法的影响，处理单元将会引起几个像素的水平移位。ClearView中包括一个算法，用来确定帧位移量并适当地调整窗口尺寸。
空间竖直对齐
基于DCT的压缩算法- MPEG、JPEG和VC-1，要求视频必须可按16像素进行划分。由于块大小的限制，NTSC视频从486线缩至480线，而HD 1080视频实际上被压缩到1088线。由于压缩视频之间尺寸以及显示视频窗口不匹配将引起竖直偏移。ClearView包括一个算法来确定帧偏移量并适当地调整窗口尺寸。
色彩保真度损失
如果视频是通过模拟源(分量视频、复合视频或S端口)输出，则由于模数变换将会引起色彩的轻微偏差。ClearView将采用一个线性归一化偏置来补偿这一影响。
音视频同步
在电视领域中，通常引起音视频同步问题的原因是由于对电视节目的视频部分进行了大量处理所致，通常由视频压缩编解码产生。ClearView测量视频源和处理后的A/V序列之间的时间偏移，然后对压缩解码器提供一个偏移量来补偿处理延迟。
视频质量评估
当今，视频设备制造商凭主观验证视频质量。主观测试具有创造性但无法很好地量化。如何测试成千上万套设备？如何进行回归测试？如何根据主观反馈来矫正测试设备和增加功能？
我们曾经提出这样的问题—人眼评测客观吗？文中指出主观视频分析只能作为视频质量的精确评估(aka，将视频序列提供给一组专家)。然而，主观视频分析只能用于开发和评估，而无助于操作监控、生产线测试、故障定位，以及设备特定的可重复性测量。对定量的、可重复性视频分析的需求都需要客观的视频质量测试。
最小可觉差法
ClearView采用众所周知的人体视觉系统，即最小可觉差法 (JND)来客观地评估视频质量。JND根据算法来预测视频质量，这些算法的根据是对数以百计的评估专家的观测进行建模，并根据观测距离、感知的缺陷、观测角度以及电视显示器尺寸等进行打分。
开始时，记录下面两个视频序列：
1. 视频源序列
2. 处理后的视频
在开始JND之前，视频在时间上和空间上被对齐，模拟噪声被归一化。我们的JND产生一个平均评价得分(MOS)，分值等级从0到100，小于5为视频质量优异。(有关JND的更多信息，请查阅Sarnoff实验室的白皮书)。
计算一个JND的主要目的是自动地评估观测者平均评估得分，不过得到用户评估的最好的方法还是直接询问他们！使用ClearView的最简单方法就是在相同条件下，在同一显示器上观测比较两个视频序列，并主观地决定哪一个更好。视频可以分屏显示、无缝分屏，镜像分屏(蝶形)，或A-B(源-结果)方式，分割可以是水平分割，也可以是竖直分割。回放支持用于深入分析的缩放、慢动作、穿梭，以及暂停，下面给出了一些显示模式。
回归测试
在利用JND或你自己的“黄金眼”对视频进行完评分后，该得分可以与任意数量的单元进行比较进行回归测试。该视频将被视作为后来参照的“黄金(样板)”。在该例中，ClearView将两个视频序列对齐，并比较他们的视频质量。任何得分低于用户规定门限的视频序列，都将被视为不合格。
ClearView按照下面来控制测试建立：
1. ClearView对被测设备(DUT)提供原始视频序列
2. DUT处理视频数据
3. ClearView记录DUT的输出
4. 参照“黄金”序列，ClearView对齐并归一化DUT
5. ClearView计算A/V延迟和偏移(偏移=唇同步误差)
6. ClearView将DUT序列与“黄金”序列进行比较
7. ClearView记录每帧的合格/不合格，并产生一个总的合格/不合格得分
8. ClearView生成一个具有结果的记录文件
所有的参数数据都被存储在一个小日志文件中。该日志文件可以在任何一台能够访问原始视频序列的ClearView机器上回放，以便在解决异常现象时能够确保一个可重复环境。更进一步，这些日志文件可以加到回归测试上，以确保这些异常能够保持固定不变。为了更方便，分析和图表工具集还可以将日志文件输入到微软的Excel文件中进行离线观看。
GUI测试与自动脚本的比较
可以通过其GUI或其指令线接口来控制ClearView。使用ClearView最简单的方式是通过其交互式GUI。结果被记录并形成图形，而视频被预览并输出到外部显示器上。当ClearView、DUT、工程师/测试人员都位于同一地点时，该功能效果更好。
当开发和系统验证团队工作在不同国家并使用不同语言时，会出现一些细节问题。ClearView包括一个可编写脚本(scriptable)的指令线接口，可以提供与GUI相同的功能，这又两个额外的好处：
1. 指令可以从通过网络可以访问ClearView系统的任何地方输入，
2. 指令可以被批处理，具有返回代码，标有日期，并被记录，可重复利用
使用指令线接口，一个位于美国的测试人员可以发现不正常并将报告发给位于印度或中国的研发团队。其他的团队成员可以访问ClearView日志，然后进行复制并进行处理。语言问题被减到最小，系统验证可以围绕着时钟进行。
本文结论
视频质量测试是一个难题。视频处理系统的性能差异很大，并且与输入视频信号的动态特性有关，如大量的运动或空间细节。通过将视频服务器、视频录像机、视频播放机和视频质量分析仪整合到一套具有交互式GUI和自动可编写脚本的接口的系统中，视频清晰度变成一个客观性的视频质量分析，也使得回归测试成为现实。
设计和制造过程中的视频质量测试
随着数字电视(DTV)的出现，视频处理有了巨大的改变。几乎所有的视频被压缩，量化，通过广播和IP方式分发，以及解压缩。这为视频技术厂商提供了机会。
但是，这些机会涌现的速度极其危险。高技术设备从概念到供货的平均上市时间从90年代的5到6年缩短到目前的一到两年。最早提供一款高质量产品的厂商还可以勉强处于可持续竞争的边缘。随着更多公司相互竞逐而在很短的时间内加入更多的功能，从产品的开发速度到系统的验证速度，产品的许多控制因素都发生了改变。
图1：带有合格/不合格结果的ClearView GUI
Video Clarity公司创造了一个突破性的视频质量测试解决方法，使得设备制造商增加覆盖并投入更多的时间到创造性测试上。该技术名为“ClearView”，是一个具有脚本的自动化视频质量测试系统。ClearView包括一个非压缩的视频服务器，一台视频录像机，一台视频播放设备，以及一台定量视频质量记录仪。通过在一台设备上提供所有这些设备功能，ClearView成为一套完整的测试系统，可以实现先进的视频质量评估和比较。
图2：主观分析显示模式(垂直分割)
Video Clarity公司的ClearView系统为软件开发人员、硬件设计师、QA/QC工程师、视频研究人员以及生产和视频分发机构提供了一系列视频质量分析工具。ClearView对视频进行播放、录像、显示和视频序列分析。该设备能够从任何源文件、数字或模拟源，例如SDI、HD-SDI、DVI、VGA、HDMI、分量视频、复合视频或S端获取视频内容。不管是什么输入，ClearView都能接收并将其转换成非压缩的 4:2:2 Y'CbCr, 4:4:4 RGB、ARGB、或RGBA。这使得编解码器能够方便地被相互比较和评估。
图3：编码器/解码器(DUT)合格/不合格视频测试实例
1. 全基准方法(FR)
2. 降低的基准方法(RR)
3. 无基准方法(NR)
你是否曾经想过将你的H.264/VC-1 & MPEG-2与其它的进行一下比较？现在就可以！你还可以测量视频延迟和音视频唇同步。
图4：scriptable合格/不合格评分背后的基本原理
和数据压缩相似，视频压缩需要在磁盘空间、视频质量和在合理的时间内对视频解压缩所需的硬件成本进行折中。不过，如果对视频过压缩，就会出现可视缺陷。这正是视频质量测试和测量的使命，以便对视频质量进行精确的建模。
在任何视频质量测量之前，只需将视频数据对齐。将会出现下面一些有关对齐的问题：
1. 处理后的视频时间上与原视频信号对不齐
2. 处理后的视频水平方向上有移位
3. 处理后的视频竖直方向上有移位
4. 处理后的视频有色彩保真度损失
5. 处理后的视频音视频不同步
时间对齐
客观度量视频质量是逐帧进行的，故视频序列必须时间对齐。由于通常并没有色栅/校准条，ClearView从一个视频帧开始，并将该帧放到视频序列中的另一个帧中，使之具有最小的差和(sum-of-difference)。ClearView然后进行修整使视频序列时间上对齐。
空间水平对齐
1932年创立的隔行视频，用来减小因CRT在刷新时间内无法遍及整个屏幕所引起的颤动。在数字电视规范中也用了隔行视频，因为对于一定的线数和刷新时间，可以将信号带宽降低一半。但是，只有CRT才可以显示隔行视频。于是，只有通过去隔行才能在DLP、LCD和等离子电视上显示隔行视频。由于去隔行算法的影响，处理单元将会引起几个像素的水平移位。ClearView中包括一个算法，用来确定帧位移量并适当地调整窗口尺寸。
空间竖直对齐
基于DCT的压缩算法- MPEG、JPEG和VC-1，要求视频必须可按16像素进行划分。由于块大小的限制，NTSC视频从486线缩至480线，而HD 1080视频实际上被压缩到1088线。由于压缩视频之间尺寸以及显示视频窗口不匹配将引起竖直偏移。ClearView包括一个算法来确定帧偏移量并适当地调整窗口尺寸。
色彩保真度损失
如果视频是通过模拟源(分量视频、复合视频或S端口)输出，则由于模数变换将会引起色彩的轻微偏差。ClearView将采用一个线性归一化偏置来补偿这一影响。
音视频同步
在电视领域中，通常引起音视频同步问题的原因是由于对电视节目的视频部分进行了大量处理所致，通常由视频压缩编解码产生。ClearView测量视频源和处理后的A/V序列之间的时间偏移，然后对压缩解码器提供一个偏移量来补偿处理延迟。
视频质量评估
当今，视频设备制造商凭主观验证视频质量。主观测试具有创造性但无法很好地量化。如何测试成千上万套设备？如何进行回归测试？如何根据主观反馈来矫正测试设备和增加功能？
我们曾经提出这样的问题—人眼评测客观吗？文中指出主观视频分析只能作为视频质量的精确评估(aka，将视频序列提供给一组专家)。然而，主观视频分析只能用于开发和评估，而无助于操作监控、生产线测试、故障定位，以及设备特定的可重复性测量。对定量的、可重复性视频分析的需求都需要客观的视频质量测试。
最小可觉差法
ClearView采用众所周知的人体视觉系统，即最小可觉差法 (JND)来客观地评估视频质量。JND根据算法来预测视频质量，这些算法的根据是对数以百计的评估专家的观测进行建模，并根据观测距离、感知的缺陷、观测角度以及电视显示器尺寸等进行打分。
开始时，记录下面两个视频序列：
1. 视频源序列
2. 处理后的视频
在开始JND之前，视频在时间上和空间上被对齐，模拟噪声被归一化。我们的JND产生一个平均评价得分(MOS)，分值等级从0到100，小于5为视频质量优异。(有关JND的更多信息，请查阅Sarnoff实验室的白皮书)。
计算一个JND的主要目的是自动地评估观测者平均评估得分，不过得到用户评估的最好的方法还是直接询问他们！使用ClearView的最简单方法就是在相同条件下，在同一显示器上观测比较两个视频序列，并主观地决定哪一个更好。视频可以分屏显示、无缝分屏，镜像分屏(蝶形)，或A-B(源-结果)方式，分割可以是水平分割，也可以是竖直分割。回放支持用于深入分析的缩放、慢动作、穿梭，以及暂停，下面给出了一些显示模式。
回归测试
在利用JND或你自己的“黄金眼”对视频进行完评分后，该得分可以与任意数量的单元进行比较进行回归测试。该视频将被视作为后来参照的“黄金(样板)”。在该例中，ClearView将两个视频序列对齐，并比较他们的视频质量。任何得分低于用户规定门限的视频序列，都将被视为不合格。
ClearView按照下面来控制测试建立：
1. ClearView对被测设备(DUT)提供原始视频序列
2. DUT处理视频数据
3. ClearView记录DUT的输出
4. 参照“黄金”序列，ClearView对齐并归一化DUT
5. ClearView计算A/V延迟和偏移(偏移=唇同步误差)
6. ClearView将DUT序列与“黄金”序列进行比较
7. ClearView记录每帧的合格/不合格，并产生一个总的合格/不合格得分
8. ClearView生成一个具有结果的记录文件
所有的参数数据都被存储在一个小日志文件中。该日志文件可以在任何一台能够访问原始视频序列的ClearView机器上回放，以便在解决异常现象时能够确保一个可重复环境。更进一步，这些日志文件可以加到回归测试上，以确保这些异常能够保持固定不变。为了更方便，分析和图表工具集还可以将日志文件输入到微软的Excel文件中进行离线观看。
GUI测试与自动脚本的比较
可以通过其GUI或其指令线接口来控制ClearView。使用ClearView最简单的方式是通过其交互式GUI。结果被记录并形成图形，而视频被预览并输出到外部显示器上。当ClearView、DUT、工程师/测试人员都位于同一地点时，该功能效果更好。
当开发和系统验证团队工作在不同国家并使用不同语言时，会出现一些细节问题。ClearView包括一个可编写脚本(scriptable)的指令线接口，可以提供与GUI相同的功能，这又两个额外的好处：
1. 指令可以从通过网络可以访问ClearView系统的任何地方输入，
2. 指令可以被批处理，具有返回代码，标有日期，并被记录，可重复利用
使用指令线接口，一个位于美国的测试人员可以发现不正常并将报告发给位于印度或中国的研发团队。其他的团队成员可以访问ClearView日志，然后进行复制并进行处理。语言问题被减到最小，系统验证可以围绕着时钟进行。
本文结论
视频质量测试是一个难题。视频处理系统的性能差异很大，并且与输入视频信号的动态特性有关，如大量的运动或空间细节。通过将视频服务器、视频录像机、视频播放机和视频质量分析仪整合到一套具有交互式GUI和自动可编写脚本的接口的系统中，视频清晰度变成一个客观性的视频质量分析，也使得回归测试成为现实。
下载文档
