Arm和安谋科技携手，专门为中国市场推出全新智能视觉参考设计

在中国很多IPC视觉系统已经成为了红海市场，竞争非常激烈。同时伴随着智能视觉对机器学习的要求、性能要求和模型支持的要求都在逐步提高，这也迫使着视觉系统所需的芯片变得更为复杂。除了简单CPU核外，智能视觉方案的开发者还要考虑譬如NPU、ISP等多种不同IP的集成。如何能够让中国的这些客户能够聚集于实现差异化，而不是去做很多重复性的基础IP整合、基础软件之类的开发工作？基于这一市场需求，Arm和安谋科技携手，将双方的IP集合在一起，推出了专为中国市场提供的Arm全新智能视觉参考设计。

智能视觉无处不在，芯片架构日益复杂

人类的智慧体现在可以通过感知、思考和行动来改变世界。感知是思考和行动的基础，有了感官对于外界信息进行准确地捕捉，才能支持后续进行思考，思考之后才有行动。

而近年来随着算力高速提升和模型演进，原本专属于人类的感知、思考和行动能力逐渐在向机器的转移。OpenAI 和大模型使模型产生的成本从边际成本转化为固定成本，而这一拐点必将引爆模型丰富度，并加速下一个拐点的到来——那就是以机器人和自动驾驶等技术为代表的行动无处不在时代。

而在模型和行动无处不在的新时代，感知也将无处不在，也就意味着智能视觉将会无处不在。智能化提升对于算力的需求也在提高，而简单的提高CPU的算力已经不够，除了CPU外，更需要专门的硬件来进行特定任务的加速处理。

据Arm物联网事业部业务拓展副总裁马健（Chloe Ma）分享，智能视觉芯片架构在过去几年中经历了一系列的演进：从功能固定难以编程的DSP和ASK，到通用性强易编程的CPU架构，到现在最先进的综合了CPU、ISP图像处理器、NPU AI加速器，VPU视频编解码器、GPU图形处理器的异构SoC片上系统，已经逐步实现低功耗、高性能和高度集成的特点。新的智能视觉芯片更适用于资源受限的边缘设备，比如智能手机、摄像头、XR，机器人和物联网设备等，为智能视觉成为一种普世的能力奠定基础。

一方面是视觉系统SoC芯片架构的复杂程度提高，另一方面中国的智能视觉市场竞争激烈，大家对于产品从研发到面市的时间要求更严苛，对于方案的差异化要求也更高。面对这些迫切的中国客户需求，Arm携手安谋科技，集合了双方的优势IP，专为中国市场推出了全新的智能视觉参考设计。

面向中国市场智能视觉参考设计，整合Arm和安谋科技的优势IP

此次专为中国市场推出的Arm智能视觉参考设计，整合了Arm和安谋科技双方的优势IP。整个参考设计包括CPU、ISP、NPU 和 VPU 处理器选项以及将这些元件粘合在一起的子系统 IP，并由安谋科技预先集成和预先验证。

在该智能视觉参考设计中，CPU采用的是Arm的IP，包括Corstone-1000 和 Corstone-300两个子系统。Corstone-1000是首款为Cortex-A设计的子系统，该方案基本配置是经过量产考验的 Cortex-A35或Cortex-A53，并取得Arm SystemReady IR认证，确保Linux 等操作系统的开机即用，并简化软件开发。Corstone-300 在智能视觉参考设计中，作为低功耗待机子系统，降低边缘设备的功耗，提高系统效率。

在ISP方面，该智能视觉参考设计中选择了Arm去年六月发布的Mali-C55，这也是Arm迄今为止面积最小、功耗最低、且可配置性最高的ISP产品。Mali-C55提供升级的图像质量功能，可以在各种不同的照片和天气条件下工作。并且像其他Arm产品一样，Mali-C55拥有全方位的软件工具支持，包括软件驱动实现自动曝光、自动白平衡、自动对焦的3A库以及全套调校和校准工具，并有 Arm 批准的 ISP 调优合作伙伴助力客户达到最优画质。

在VPU方面，该智能视觉参考设计选择了安谋科技的“玲珑” VPU。据安谋科技智能物联及汽车业务线负责人赵永超介绍，“玲珑”VPU作为编解码融合、灵活可配、可编程的多核视频处理器，不断在编码标准、编码质量、PPA（功耗、性能、面积）等各个方面进行提升，并保持与 Arm 架构以及多媒体生态的兼容。

面对多样化的产品需求，“玲珑”VPU 不断增强图像的前后处理能力，增加了按任意比例缩放优化的后处理，以及OSD 的前处理和 YUV 到 RGB 的后处理等功能。由于 AFBC (Arm Frame Buffer Compression, Arm系统层面上的无损压缩) 的支持，“玲珑” VPU 可以降低 35% 的带宽。

在NPU方面，该智能视觉参考设计选择了安谋科技的“周易”NPU。这是一款灵活可配置的人工智能加速器，可以根据客户和市场需求配置出1～30TOPS的处理性能。在4 TOPS的典型配置下，在16nm工艺上的实现面积只有3.3个平方毫米。此外，“周易” NPU 可以支持多种典型的深度学习框架，如 Tensorflow、Caffe、Pytorch等；并且目前已经针对 100 多种算子算法进行了优化适配，完成了对 ChatGPT等大模型的适配。

马健表示，Arm智能视觉参加设计的与众不同来自两大方面，首先它采用成熟的Arm CPU IP作为基础。而Arm CPU在智能摄像头领域有已经九成以上的份额，用于诸多智能视觉品牌设备；因此客户可以对IP的质量和强大的软件生态系统充满信心。

此外，该参考设计带有低功耗待机子系统，可以支持电池供电的视觉设备。安谋科技为此设计贡献的玲珑VPU提供了紧凑、多格式和高效的视频编解码器，以及周易NPU的高达4个TOPS的ML加速器，使该参考设计可以支持机器视觉的用例。

智能视觉也需要强大生态，Arm组建智能视觉合作伙伴计划

除了智能视觉参考设计外，Arm在此次发布会上还宣布将会携手AI 视觉、芯片设计、软件、算法、系统集成等伙伴，共同打造基于 Arm架构智能视觉应用的强大生态，组建Arm智能视觉合作伙伴计划。

Arm IP的成功，很大程度上得益于其强大的生态。在授权商业模式的基础上，生长起来的强大生态使Arm的护城河。而在智能视觉应用，Arm也希望能够联合生态伙伴一起，加速智能视觉软件、硬件和系统的开发。

据悉，智能视觉参考设计的目标受众通常是边缘AI领域的初创公司、跨界创新公司或者是希望进行垂直整合的系统公司。由于种种原因，这些公司并不拥有涵盖所有芯片架构前端、后端设计师的庞大团队，他们在视觉领域的第一颗芯片通常要借力于芯片设计公司。通过智能视觉的生态计划，这些芯片设计服务伙伴们能够访问并熟悉Arm的智能视觉参考设计，并在参考设计的基础上快速流片，助力客户快速推出满足SystemReady和PSA安全标准的芯片。

马健表示，尽管Arm智能视觉合作伙伴计划刚刚启动，但业界已经表现出巨大的兴趣。目前百度飞桨已经实现了基于飞桨的视觉模型库和Arm虚拟硬件的整合适配；诚迈科技作为软件设计合作伙伴加盟，成为中国第一个Arm批准的ISP调优伙伴；厦门星宸科技通过了PSA安全认证，展示了智能视觉界领军者对安全和隐私保护重视程度的提高。伴随着更多视觉领域的伙伴的加入，相信智能视觉创新步伐将会进一步加快。

推出参考设计目的不是封闭，第三方IP可以更灵活的集成

Arm此次面向中国客户推出的智能视觉参考设计，虽然全部采用了Arm和安谋科技的IP，但并不意味着客户只能选择这些IP；一些第三方的IP，在这个平台上其实是更容易集成的。

“这次Arm智能视觉参考设计不仅集成了Arm IP，也是我们在使第三方IP更容易集成在一个基础的标准化平台上做了一个最新范式。”马健分享到，“我们希望给客户和市场做一个展示，那就是Arm智能视觉参考设计可以非常灵活的支持客户的差异化。如果客户有图像处理和ISP方面的自研 IP，也可以通过安谋科技或第三方的芯片设计公司来帮助他们很快地整合这种差异化的IP，并且在此参考设计基础上进行集成和验证，达到产品量产的阶段。所以，整个设计的初衷和目的就是为了能够使客户比较灵活的把创新IP集成到参考设计里，并尽快的推向市场。”