谷歌推出人工智能产生的音频和视频质量新指标

（文章来源：教育新闻网）

Google AI研究人员发布了两项用于衡量深度学习网络生成的音频和视频质量的新指标，即Fréchet音频距离(FAD)和Fréchet视频距离(FVD)。度量已显示与质量人工评估高度相关。

在最近的博客文章中，软件工程师Kevin Kilgour和Thomas Unterthiner描述了他们的团队所做的工作，这些工作是建立在先前对测量神经网络生成的图像质量的研究的基础上的。这些团队展示了他们的新指标如何分别检测添加到声音或视频中的噪声，以及如何通过人工评估声音或视频质量来跟踪指标。

FAD是通过对失真音频样本对的系列进行排序来评估的，其选择与人类判断的相关性为0.39。通过对由深度学习模型生成的视频对进行排名，对FVD进行了类似的评估。根据所使用的生成标准，它与人类排名之间在60%到80%之间达成一致。

深度学习模型的成功在一定程度上受到诸如ImageNet之类的大型高质量数据集的可用性的驱动。这些数据集还提供了可以评估模型的“基本事实”。深度学习在生成新图像方面的最新流行应用提出了一个新问题：如何衡量输出的质量?由于没有针对这些网络生成的图像或其他数据的“真实”答案，因此无法应用诸如信噪比或均方误差之类的通用指标。

由于目标是创建看起来或听起来对人类真实的输出，因此可以由人类裁判对数据进行评分，但是这既不是可伸缩的，也不是客观的。GAN的发明人提出的初始指标是初始得分(IS)。通过将预训练的Inception图像分类器应用于图像并计算结果统计信息来计算此指标。该度量标准“与用于训练生成模型的目标密切相关”，并且已证明与人类对质量的判断高度相关。

但是，初始得分指标确实存在一些缺点;特别是，它对所使用的基础IncepTIon模型的更改很敏感。Unterthiner和其他人在奥地利约翰内斯·开普勒大学的LIT AI实验室开发了Fréchet起始距离(FID)。FID使用IncepTIon模型的隐藏层来计算输入图像的嵌入，而不是使用IncepTIon模型的分类输出。为一组生成的图像和一组真实世界(或基线)图像计算嵌入。将所得数据集视为由多元高斯分布生成的数据，并使用弗雷谢特距离比较这两个分布。与IS相比，FID相对于IS的一个优势是，随着将噪声添加到图像上，FID会增加，而IS可能保持平坦甚至降低。

Google的新指标扩展了这种思想，即为生成的数据计算嵌入并将统计数据与基准数据进行比较。对于FAD，团队使用VGGish来计算嵌入，而对于FVD，则使用Inflated 3D Convnet。为了验证度量标准的有效性，研究人员计算了通过向基线添加噪声而创建的数据集的度量标准值。期望随着噪声的增加，分数会增加，这的确确实发生了。该团队还将他们的度量结果与人工评估进行了比较，发现了度量与人类判断之间的相关性，并且他们的新度量与人类法官的共识比其他常用度量更为一致。