人工智能更接近边缘：针对物联网的数据洪流强化生态系统

第五波计算技术的融合——人工智能(AI)、5G与物联网(IoT)——正持续加速令人惊讶的变化，并驱动全新的数据消费模型。在仅考虑IoT的情况：尽管还在发展初期，我们看到它已经褪去全球微型传感器网络的原始面貌，进一步扩展至包含更多高性能设备，包括从智能影像传感器到自驾汽车。

随着IoT持续成长并带动全球数字化转型，通往上游云端的数据海啸，让长期以来针对下游分配优化的网络基础设施遭受打击。它也促生了一个迫切的需求，即在全球互联网架构内实现更分散的算力分布，而这也导致对Arm Neoverse计算解决方案的需求与日俱增。整个生态系统已经对这个挑战作出响应，而纵观Arm过去一年内的进展，Neoverse正在将其初始愿景转换成今日之现实。

AI从云端扩散，“宙斯”枕戈待旦

展望未来，Arm将专注于为下一代基础设施技术奠定基础，其中的重中之重是AI的去中心化。

由于大型数据集与专属的算力相当集中的缘故，今日大负荷的AI计算多数在云端完成，特别是机器学习(ML)模型的训练。但若把这些模型应用到真实世界中靠近决策点的推论时，以云端为中心的AI模型就会捉襟见肘。数据传输数千英里来到数据中心进行模型比较时，可能会碰到不少延时的问题，因此，没有人能保证当结果返回时仍然对决策有用。时间至关重要，因此把“智能”从云端分配到边缘，就显得合情合理。

得益于已经面世的各种解决方案——从云端与基础设施都在使用都Arm Neoverse平台和AI加速技术，到专门迎合各种端点需求的、具备AI能力的Arm CPU、NPU和GPU——Arm与其合作伙伴在让AI赋能互联网各个层级应用方面具有先天优势。但Arm认为这还不够。Arm最近宣布将把bfloat16数据格式加入下一个版本的Armv8-A架构中，这将大幅提升基于Arm架构的CPU的训练与推理性能。Arm已经确认将对bfloat16的支持加入计划将于明年推出的Neoverse "Zeus"(宙斯)平台。

在边缘扩展计算

随着对决策的要求朝边缘移动，AI将扮演双重角色。除了依据数据本身包含的信息作出及时决定之外，当大量的数据需要被导引至正确的位置时，AI需要在从流量管理到封包检验等方面都发挥作用。这是一个训练与推论兼顾的问题，而传统的计算系统无法与之相适应。过去，互联网边缘传统上只是一个网桥，现在正快速变成智能计算平台，并最终将促成我们称之为AI Edge的浮现，并在2025年形成一个高达300亿美元的计算芯片潜在市场规模(TAM)。

在边缘执行AI有几个好处：它可显著减少到云端的回程，降低延迟，并提升可靠性、效率与安全性。有鉴于当今来自全球设备部署的洞见来得极快，模型必须需要实时进化，这点已经显现出至关重要性。

赋能AI边缘：推出Project Cassini

利用AI边缘的应用程序的成功部署，关键在于提供能够覆盖各种功耗与性能需求的多元解决方案。单一厂商的解决方案，并无法满足所有需求。除了变成以AI为中心，AI边缘必须是云端原生的、虚拟化(VM或containers)的，同时支持多用户。最重要的是，它必须是安全无虞。

目前构成基础架构边缘的解决方案来自一个极度多元化的生态系统，而这个生态系统也在迅速变革，以满足这些新产生的需求。为了协助大家面对这一AI边缘的变革，Arm宣布推出Project Cassini：这是一个专注于在多元与安全的边缘生态系统内，确保云端原生体验的业界提案。

通过与Arm生态合作伙伴的协同努力，Project Cassini将专注于基础设施边缘，开发平台标准与参考系统，并以它们为基础，在目前已延展到基础设施边缘的标准化平台安全架构(PSA)框架内，无缝部署云端原生的软件堆栈。值得一提的是， Arm与其生态系统合作伙伴针对安全性做出了大量努力。两年前Arm推出PSA，让企业得以依据一套通用的需求设计安全功能，以降低打造产品级IoT安全性相关的成本、时间与风险。今天，Project Cassini将PSA延展至基础设施边缘，可谓更上层楼，目标是让所有最基本的安全需求标准化。

持续演进的挑战

Arm预计，到2035年全球将有一万亿个IoT设备，这将带来全新规模的基础设施与架构上的挑战，技术也需要与时俱进才足以应对。在边缘计算方面，这意味着Arm将持续大量投资硬件、软件与工具的开发，以便为基础设施堆栈的每一个点都赋予智能决策能力。另一方面，这也意味着在处理器层级，以及从云端到边缘到终端设备的整个网络内，都将广泛使用异构计算。