Flex Logix 发布InferX X1高性能，低功耗，低成本AI边缘推理芯片

比现有解决方案高数倍的实际吞吐量，低数倍的功耗和成本

美国加州山景城，2019年4月10日 – Flex Logixâ Technologies， Inc. 宣布，其在拥有数个专利的业界领先的eFPGA互连技术上，结合专为AI推理运算而优化的nnMAXtm乘加器（MAC）， 研发了 InferXtm X1边缘推理芯片。今天在美国硅谷举办的Linley Processor Conference，Flex Logix介绍了 InferX X1芯片及其性能。作为一款针对于边缘AI推理应用的芯片，InferX X1有着极高的 MAC 利用率以及出众的能效比 — 只需要一颗x32的DRAM， 就可以达到8TOPS的算力。这在边缘推理这种只需 low batch size 的应用场景中显得极为重要。与现有的解决方案相比，InferX X1能以更低的功耗，更低的成本，提供更高的算力。

InferX X1可以支持语音，图像，视频等任何基于TensorFlow-Lite或ONNX的模型和算法，特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法，InferX X1在batch=1的情况下，可以对1Megapixel图像 达到25.4帧每秒（fps）的吞吐量。对2Megapixel高清图像达到12.7帧每秒（fps）。而达到这样的高吞吐量只需要用到一个x32的DRAM。

InferX 支持INT8，INT16，BF16并可以在不同的算法层混合使用，方便客户根据自己的需求来优化吞吐量和算法精度。InferX还内置有Winograd变换来加速INT8计算卷积，芯片会自动对适用的矩阵乘法来实时转换weights到Winograd模式，得到将近2.25倍的性能提升。由于InferX的Winograd是用12bits来计算的，所以精度不会有损失。

Flex Logix提供客户完整的软件开发环境。客户可以直接将基于TensorFlow-Lite或ONNX的算法直接用Flex Logix的nnMAX Compiler软件来编译。

Flex Logix将提供InferX X1芯片。芯片可以通过扩展口来连接数个芯片以增加算力。Flex Logix同时还会提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。

“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗，而我们的可编程互连技术是接近完美的解决方案。”Flex Logix CEO Geoff Tate说。”在运算一层网络的时候，我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接，等于是专为这一层运算配置了一个ASIC。同时对下一层网进行络pre-load，以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接，将这一层的输出，快速配置成下一层的输入，从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小，大大降低了功耗和成本。”

Geoff Tate还说， “我们还在芯片里加上了Winograd来加速INT8的运算，这让客户在选择INT8时能得到更高的吞吐量。而同时我们也支持BF16，让对精度更在意的客户在需要时也能运用。客户可以选择根据自己的需求在不同的网络层混合运用来到达高精度，高吞吐量。”

一个创新的可编程互连技术，两个高速成长的产品线

Flex Logix在其拥有十余个专利的创新可编程互连技术上研发了EFLX eFPGA IP. Flex Logix已经成为eFPGA IP市场的领先者，已有包括大唐辰芯，美国波音，SiFive RISC-V等十余个客户正在应用Flex Logix的eFPGA IP。

最新研发的nnMAX AI IP，即InferX芯片中使用的新推理架构，利用了同样的可编程互连技术，并结合了专为AI推理而设计的乘加器（MAC）和存储单元。这些乘加器能支持INT8， INT16， BF16等AI算法里常见的精度数字。每一颗nnMAX IP单元拥有1024个乘加器以及相应的SRAM，在16nm制程上可以提供2 TOPS的算力。nnmAX IP单元可以根据需求拼接成NxN的阵列，最大可以提供超过100 TOPS的算力。

Flex Logix在InferX X1芯片里集成了4个nnMAX IP单元，提供8 TOPS的算力。

InferX X1推理芯片计划于Q3 2019流片，样片和PCIe板可于年底提供。基于台积电16nm的nnMAX IP将于Q3 2019提供授权给客户用于集成到客户自己的ASIC或SoC.