从GenAI到PhyAI，大模型时代边缘智能的新思考与新范式

Netflix花了10年时间达到1亿用户，Twitter用了5年，Instagram达成这一里程碑用了2.5年，TikTok则缩短到9个月。然而，OpenAI的ChatGPT仅用了2个月就突破了1亿用户大关。这一趋势表明，随着时间的推移，科技尤其是人工智能的普及速度显著加快，AI应用的用户增长速度远远超过了传统的社交媒体和流媒体平台。

“现在AI已经可以在云端部署，写诗、作画、聊天、客服、视频生成，但是 AI在边缘落地的速度也是非常惊人的。”Arm物联网事业部业务拓展副总裁Chloe Ma（马健）在深圳国际电子展的Kaifa Gala活动上讲到，“我们正在迎来AI的‘iphone’时刻。”

从GenAI到PhyAI，边缘AI即将迎来爆发

当前正处在AI计算的普及初期，AI基础设施的部署都是以云和数据中心为主。但AI模型和计算芯片技术的突破，以及来自应用层面的实时响应成本、用户体验和安全隐私的诉求，都让AI算力迅速“扑“到了边缘设备上。

AI PC、AI手机和AI汽车等新的产品形态出不穷，通过AI加持的CPU、GPU和NPU能够实现对于小型语言模型在边缘设备上的本地支持。而多模态大模型也将在自动驾驶、具身智能、黑灯工厂和智能家居中枢等新的计算场景中实现赋能，未来的这些智能中枢能够汇集多模态的输入，以全自动的方式为我们提供服务。

而要实现这样的愿景，需要是一个从GenAI到PyhAI的转化，而要实现这一转化包含了多模态性（Multimodality）、端到端（End-to-End）和三维空间和物理理解（3D Spatial and Physics Understanding）三部分。

首先是多模态性（Multimodality），这意味着GenAI可以处理和生成多种形式的数据，包括文本、图像、声音、视频和数据等，增强了其理解和生成能力。接着是端到端（End-to-End）的发展，从大型语言模型（LLMs）进化到多模态大型语言模型（MLLMs），使其不仅能够处理单一模态数据，还具备了处理多模态数据的能力，实现了端到端的全流程处理。最后是三维空间和物理理解（3D Spatial and Physics Understanding），这一阶段的AI具备了理解和模拟三维空间及物理现象的能力，朝着更接近物理世界的智能方向迈进。

从单一模态数据处理，逐步发展到多模态数据处理，最终演化出理解物理空间和物理规律的高级智能，未来AI的认知能力和应用范围在不断扩展，向更高层次的智能迈进。

“边缘AI方兴未艾，未来还会迎来更加蓬勃的发展。”Chloe展望到。边缘AI正在从当前的“传感器、网关和云分析系统”逐步向更智能、更自动化的方向发展。到2030年，边缘设备将具备更强的计算和处理能力，通过智能传感器、智能网关和云端协同工作，能够实现自动反馈和自我优化，并最终实现更加智能化和自主化的计算体系。

未来的传感器将不仅仅是数据采集的物理世界窗口，而是增加了AI/ML能力，具备初步的智能处理能力。而网关的处理能力将进一步增强，集成了多核处理器和更强大的NPU，能够处理更多复杂的任务，并进行实时反馈。智能设备则能够与云协同工作（On Prem + Cloud Analytics），完成更高效的数据处理与分析，并通过自然语言处理和基于机器学习的自动反馈机制，实现整个系统的自我调整和优化。

“AI算力的整体水平会有显著的提高，并且以一种更模块模块化的形式呈现给大家。”Chloe分享到。

Arm以硬件、软件和生态合力，赋能所有设备上的AI创新

Arm在边缘AI上的创新聚焦在硬件、软件和生态三个维度。硬件是Arm之本。随着端侧AI推理需求的增长，Arm不仅增强了CPU的矢量和矩阵处理能力，更是推出了一系列的边缘AI加速器，通过一系列硬件创新满足更高性能以及更复杂的AI工作负载需求。而仅有硬件是不够的，近年来Arm更是加大在软件和工具链方面的投资，使开发者可以轻松的释放AI硬件的巨大的性能潜力。

在IoT、智能网关、人机交互、视觉、边缘服务器等领域，Arm的Cortex-A系列处理器产品中引入了SVE2的拓展，能够更高效便利地处理边缘AI的工作负载。Arm去年发布的Cortex-X4、Cortex-A720及Cortex-A520均是基于最新的Armv9.2架构，支持可拓展矢量引擎。未来还将更多加入可拓展矩阵引擎支持，助力实现AI操作中吞吐量的显著提升。

在嵌入式领域，Arm通过最新的Armv8.1架构将A系列中的矢量拓展引入到了M系列中，增强了M系列的信号处理和机器学习能力。Helium技术可以在信号调理（Signal Conditioning）过程中提供高达5倍的信号处理性能提升（特别是在int32格式的CFFT运算中）。这意味着在处理复杂信号时，使用Helium技术的处理器能够更快、更高效地完成任务。在特征调理（Feature Conditioning）和决策算法（Decision Algorithm）中，Helium技术能够提供高达15倍的机器学习性能提升（特别是在int8格式的矩阵乘法中）。这表示在机器学习任务中，处理速度和效率都大幅提高，尤其是在处理大量数据和复杂计算时。

而ARM Ethos-U系列处理器在神经网络性能提升方面的强大能力，能够助力开发者解锁神经网络的全部潜能。从Ethos-U55到Ethos-U65再到Ethos-U85，MAC单元数持续提升的同时，还增加了对于最新的AI模型架构Transformer的支持。通过对矩阵乘法（Matrix Multiplication）和权重（Weights）的优化，Ethos-U85处理器目前可以更高效地执行这些复杂的AI任务。

不论是在何种体量的计算系统中，Ethos-U85都能够发挥其AI加速计算的优势。包括Cortex-M系列支持的tinyML和Cortex-A Armv9系统支持的复杂AI/ML工作负载中，Ethos-U85能够通过与不同处理器的结合，提供广泛的应用场景，从低功耗微控制器到高性能处理器，满足各种系统的需求。

仅仅以上一系列的处理器和加速期创新是不够的，Arm通过整合硬件、软件和虚拟平台，为IoT设计提供了一个全方位的解决方案。这种方法不仅加速了边缘AI设备的开发和部署，还为开发者提供了灵活的工具和平台，以应对物联网领域不断变化的需求。

通过IoT参考设计（IoT Reference Designs）+ARM和生态系统的软件和工具（Arm and Ecosystem Software and Tools）+ARM原型平台（Arm Prototyping Platforms），ARM旨在帮助企业快速将边缘AI设备推向市场，实现更高效的物联网设备开发流程。

结语

“随着边缘AI的持续发展，Arm始终处在推动市场和技术进化的核心地位，但是我们不会止步于此。”Chloe表示，“边缘AI还会随着大模型的和生成式AI的崛起而经历革命性的变化，大模型持续通过量化技术，现在已经可以从几百例缩减到几例甚至零点几例的小模型，适用于在边缘设备和终端设备上部署。小模型与云边端的结合，是未来AI产品的重要发展趋势，也是人工智能真正能够赋能千行百业的重要方向，而我们Arm也会携手我们的生态合作伙伴挑战大模型在边缘部署的性能和能耗极限。”

据悉，Arm一直在探索新的商务模式，以期能够更好地支持客户的创新。Arm Flexiable Acess（AFA）是其最新推出的一种创新授权模式，客户可以在早期产品开发和概念验证环节进行不同IP的试验和测试；在原型设计环节通过灵活的IP访问模式来不断优化设计并验证功能；直到产品定型之后，才进行最终使用的IP支付费用，避免了前期大笔投资的风险。

目前全球大概约有90%的AI都运行在基于Arm架构的CPU上面，而随着Arm在硬件、软件和生态上的合力，以及像AFA这样的创新授权模式的开启，预计未来伴随着端侧AI的爆发，Arm的开发者阵营还会持续扩大，Arm也将会借此释放AI前所未有的规模潜力。