边缘人工智能市场和生态系统未来将会走向何方

（文章来源：教育新闻网）

直到最近，大多数AI还是在数据中心，而大多数是训练。事情正在迅速改变。预计到2020年代中期，人工智能的销售额将快速增长至100亿美元，其中大部分增长将来自Edge AI推理。

边缘推理应用程序今天的边缘推理市场在哪里?让我们看一下从最高吞吐量到最低吞吐量的市场。边缘服务器最近，Nvidia宣布推理销售首次超过培训。其中的大部分可能已交付给数据中心，但在数据中心之外还有许多应用程序，通常称为“边缘”。这意味着用于边缘推理应用的PCIe推理板的销售额可能达到每亿美元。一年并迅速增长。

应用范围很广：监视，面部识别，零售分析，基因组/基因测序等等。由于训练是在浮点数中完成的，而量化需要大量的技能/投入，因此大多数边缘服务器推断可能是在16位浮点数中完成的，而只有最大数量的应用程序是在INT8中完成的。PCIe推理板的范围从75W(Nvidia Tesla T4)到200W(Habana Goya)。

自动驾驶汽车一年前，汽车制造商和供应商都在谈论使用自己的定制芯片快速实现全自动驾驶。如今的计划更加适度，使用现成的解决方案(我们经常听到Xavier AGX和NX)，用于2020年模型年，对百万像素图像进行对象检测和校正，用作提高安全性的驾驶员补充。目前，其数量已达到数万种引人注目的测试工具，例如带有大型摄像头的Google Waymo，引人注目的激光雷达和电子行李箱。在5年内，对于高度集成的大众市场2级对象检测和校正，销量可能会达到数百万。

这里的主要球员是Nvidia的特森(纳米，TX2，泽维尔AGX和Xavier NX)在5-30W和英特尔Movidius在无数个位数瓦，但〜1月10日日吞吐量。此处的应用范围非常广泛：监视摄像机，基因测序，家用门铃，医疗系统(例如超声)，光子学，机器人视觉，并且大多数情况下使用CNN，但也可以使用与图像CNN截然不同的各种模型。

风扇在这个市场上是不能接受的。我们与之交谈的客户渴望获得吞吐量，他们正在寻找能够以与今天所使用的功率/价格相同的功率/价格提供更高吞吐量和更大图像尺寸的解决方案：当他们获得解决方案时，他们的解决方案将更加准确/可靠并被市场采用和扩展将加速。因此，尽管当今的应用程序有成千上万个单位，但是随着推理的可用性将迅速增长，推理将提供越来越多的吞吐量/美元和吞吐量/瓦特。

由于应用范围广，随着时间的推移，该细分市场应成为最大的细分市场。图像CNN要求每秒发送数百万个MAC。仅关键字识别，语音处理就达到数十亿个MACs /秒，甚至更低。这些应用程序(例如Amazon Echo)在采用率和数量上已经非常重要，但是$ / chip的价格要低得多。这个市场的参与者与上述市场完全不同。

是延迟。边缘系统正在以每秒60帧的速度来决定图像的速度。例如，在汽车中，检测人，自行车和汽车等物体并在尽可能短的时间内对其进行作用显然很重要。在所有边缘应用程序中，延迟为#1，这意味着批大小几乎始终为1。