FPGA在先进视频处理方面的优异表现

部署先进的网络基础设施不仅可以解决数据传输量激增的问题，而且还能在诸如边缘、核心和云端等网络的不同部分进行数据处理。不足为奇的是大部分数据要么是视频，要么是图像，并且这些数据正以指数级速度增长，并将在未来几年内保持持续增长。因此，需要更多的计算资源来应对数据的大量增长(如图1所示)。

由于应用的类型多种多样，因此在数据中心中存在着各种各样的视频或图像处理工作负载。基于专用集成电路(ASIC)的解决方案通常可提供更高的性能，但是无法进行升级以支持未来的算法;基于中央处理器(CPU)的解决方案要比其更加灵活，但其时钟主频已经固定，而且已不再可能大幅提升处理器性能;图形处理器(GPU)是提供视频/图像处理解决方案的另一种候选方案，但其功耗明显高于基于现场可编程逻辑门阵列(FPGA)的解决方案。FPGA在视频处理和压缩领域内，是一种具有吸引力的选择，因为它们提供了实现创新视频处理算法所需的、平衡的资源。此外，FPGA提供了一种灵活的解决方案，可以缩短产品上市时间，并能在解决方案的整个生命周期内实现持续升级和部署新的功能。

图1：全球互联网视频数据流(来源：思科)

33% CAGR 2017-2022：2017-2022年间的复合年增长率33%

Exabytes per Month：每月的Exabytes数量

基于FPGA的视频解决方案的示例

本白皮书将介绍三种典型的视频应用，以展示基于FPGA的解决方案在广播行业中的优势。这些优势包括缩短处理时间、降低功耗，以及为服务提供商和终端用户节省成本。

本白皮书将介绍基于FPGA的解决方案在以下三种应用中的优势：

视频流

使用视频编辑软件来创作视频内容

人工智能(AI)和深度学习–图像识别是该应用的主要部分，其需要高性能的计算资源

视频流传送

为了使媒体流变得快速和高效，对视频进行转码的需求已急剧增加。目前大多数产品都采用了一种基于软件的方法，但该方法无法满足高带宽、广播级视频流的处理要求。视频流和/或云服务提供商面临着由基于软件的解决方案所带来的低吞吐量、高功耗、长延迟和占用空间大等挑战。根据思科的一份题为《思科可视网络指数：预测与趋势——2017-2022年白皮书》的报告，视频流数据流量正在增加，并且到2022年时将占据整个互联网数据流的82%。在包括视频点播、流媒体直播和视频监控等所有应用中，视频数据流量将逐年稳步增长。

诸如Netflix和YouTube等视频流应用的兴起推动了对视频转码的需求。传统广播和视频流媒体之间最显著的区别在于内容量和频道数。为了支持从电脑到智能手机等各种接收设备，内容必须被转码成不同的分辨率和压缩格式。因此，视频流将消耗大量的计算资源。

图2：视频转码工作流程

Acquisition：获取

content creator dramatically growing：内容创作者的数量在急剧增加

Editing：编辑

Uploading：上传

Streaming Company：流媒体公司

Cloud Service Provider：云服务提供商

Transcoding：转码

different compression：不同的压缩率

different resolution：不同的分辨率

different bitrates：不同的比特率

Distribution：发布

iPhone：iPhone手机

Andriod：安卓手机

PC Browser：电脑浏览器

流媒体和云服务提供商需要一种解决方案来缓解对计算需求的压力。Achronix Speedster®7t系列FPGA器件中搭载了IBEX这种最先进的视频处理半导体知识产权(IP)能够解决这一重大问题。这种基于FPGA的解决方案可以提供高吞吐量的、低功耗的和占用空间小的系统，而且无需牺牲灵活性。尽管基于ASIC的解决方案功能强大，但只能支持在设计时定义的功能集，而不能支持现场更新。

视频内容创作

在过去，高清分辨率(HD)格式在视频内容创作中占据主导地位。最近，标准分辨率已被提升至4K，甚至到8K，这使得视频编码或解码面临挑战。用于这些较高分辨率的压缩格式主要有Apple ProRes、Avid DNx和SONY XAVC。由于这些压缩格式是专有的，因此ASIC或GPU并不能原生支持这些格式，而且CPU提供的性能也不佳。因此，在较高分辨率下创作视频内容时，FPGA是最佳的解决方案。

图3：视频编辑工作流程

Import：导入

Editing Software：编辑软件

Import(Decode)：导入(解码)

Export(Encode)：导出(编码)

Remote Edit：远程编辑

Export：导出

在新的趋势下，远程后期制作的概念正变得越来越普遍。然而，现有的电脑并没有足够的能力来实时处理高分辨率的内容(例如8K)。因此，编辑人员开始借助云基础设施来获得更好的计算性能。此外，由于需要保持社交距离，新冠肺炎疫情也加速了这一趋势。基于云和FPGA的解决方案为编辑人员提供了巨大的好处。Achronix Speedster7t系列FPGA器件进行架构创新，例如二维片上网络(NoC)，使其特别适合于加速编码和解码算法。

人工智能与深度学习

人工智能、机器学习和深度学习是众所周知的领域，它们在过去几年中得到了迅速的发展。除了这些领域，图像识别也逐渐成为一个全新的重要领域，这得益于人工智能/机器学习(AI / ML)的创新。例如，先进驾驶员辅助系统(ADAS)使用深度学习算法来处理捕获的图像。安装在车上的行车记录仪使用H.264压缩技术记录视频，然后将视频流转码为诸如JPEG或PNG等合适的图像格式，以用于深度学习图像识别。根据应用场景，可以同时完成丢帧、更改分辨率或其他图像处理任务。

在零售业的安全摄像头或物流业的包裹分拣中也有类似的应用案例，其数据流与上述示例相同 —— 这些应用中的摄像头使用H.264或H.265等压缩比相对较高的压缩格式记录视频，然后将编码的视频流传输到云端或数据中心。在云端，视频流由原始格式转码为适合深度学习的格式，将视频文件转换为图像资料库。

图4：典型的深度学习图像数据流

Transcoding：转码

Different compression：不同的压缩率

Video=Image：视频=图像

AI：人工智能

Deep Learning：深度学习

Image Recognition：图像识别

从历史来看，FPGA一直擅长将电影转码为图像。此外，使用FPGA中的深度学习算法对图像预先进行预处理，不仅可以提高吞吐量，而且还能减少系统级的数据事务量。Achronix Speedster7t的创新架构及其带有的专用机器学习处理器(MLP)，使之成为实现定制的和既定的深度学习算法的理想选择。

FPGA代表性视频用例的性能

我们分别使用FPGA和CPU来实现上述三个典型应用案例，并对一些关键指标进行对比，如下表所示。

表注

↑ FPGA提供更佳的性能。

↔ FPGA和CPU提供同等的性能，但FPGA是卸载CPU负担的首选解决方案。

↓ FPGA和CPU提供同等的性能，但CPU是首选解决方案。

视频流传输

在视频流传输应用中，常用的压缩格式是H.264或H.265，因为终端(接收端)设备原生支持这些格式。诸如位深或色度和分辨率等参数通常为8位、4：2：0和1920×1080或1280×720。在解码器方面，基于FPGA的实现比基于CPU的系统提供更高的吞吐量。在数据层面，FPGA效率更高，因为如果将CPU用于纯数据处理之外的其他任何与数据相关的任务时，它通常都没有得到充分的利用。然而在编码器方面，硬化的CPU编码器内核是专门针对这些典型参数而设计的，并提供了足够的性能。

为了获得两全其美的效果，将FPGA和CPU解决方案相结合，并由FPGA来处理繁重的工作负载是理想的解决方案。FPGA上的高效功能可以被移植到可重新配置的硬件上去运行。例如，运动估计算法是一种适合FPGA的工作负载。另一方面，CPU更适合处理比特率控制算法。

一些服务提供商要求在软件解决方案中实现与x264相同的视频质量和流媒体格式。FPGA和CPU的组合解决方案可以有效地满足这些要求。使用这种方法，每种功能都被合理地分配，较繁重的处理负载被转移到FPGA，与纯软件解决方案相比，这种方法能提供类似或更好的视频质量和流媒体格式，而且编码时间显著减少。

下表列出了使用这种方法的x264评测结果，第一行显示了在FPGA上的运动估计函数(x264_8_me_search_erf)的结果。运动估计是CPU最繁重的工作负载之一，占据总处理时间的21.2278%。

视频内容创作

用于内容创作的视频编辑软件支持多种压缩格式，其中包括Apple ProRes、Avid DNx、Sony XAVC和Panasonic AVC-Intra，这些格式都带有基于内帧结构的专有压缩方案。此外，还有一些支持RAW模式的格式，诸如Apple ProRes RAW、RED RAW、ARRI RAW和Blackmagic RAW，这些格式都得到了摄像机制造商的支持。由于这些格式(以及新型的和不断出现的格式)具有不断变化的特性，因此基于ASIC的解决方案并不实用，而需要基于FPGA的解决方案。