Arm 发布全新ISP Mali-C55，在一半芯片面积上实现增强图像处理能力

未来设备对图像处理的需求继续呈指数级增长。主要的例子是安全摄像头和监控市场，目前价值250亿美元。预计到2025年，复合年增长率将达到13%，达到450亿美元，其中约四分之一用于消费类智能家居相机。全球安装了大约十亿台摄像机。据估计，下一个十亿台摄像机将在短短4年内安装完毕。Arm正在扩展其ISP产品组合，并宣布Arm Mali系列的最新Arm Mali-C55：迄今为止Arm最小，性能最高的图像信号处理器（ISP）。

Arm Mali-C55是用于计算机视觉和智能显示系统的多功能图像信号处理器，它可以为各种物联网、嵌入式和机器学习 （ML） 应用（包括用于消费和商业安全的智能摄像头、业余爱好无人机和机器人、机顶盒和 AR 可穿戴设备）提供高分辨率图像处理、能效和无与伦比的图像质量的最佳组合。该处理器是迄今为止最小的，但它提供了比其前身更高的图像质量和更高的性能，并且建立在多摄像头和物联网（IoT）计算机视觉系统的基础上。

Arm物联网和嵌入式副总裁Mohamed Awad声称“Mali-C55提供升级的图像质量功能，可在各种不同的照明和天气条件下工作”，意思是在区域和功耗受限的应用中它可以实现最大的性能和能力，使其成为智能相机和边缘AI视觉用例的理想选择。下图为Arm MaliISP的比较表，通过数据可以看出Mali-C55与前代产品相比，提供升级的图像质量功能，具有更高的吞吐量、更低的功耗和显著更小的硅片面积。Mali-C55 为电池供电设备提供高性能图像信号处理，并为有线设备和已建立的摄像系统提供增强的性能。

Mali-C55 ISP是一个完整的解决方案，包括硬件IP、软件驱动程序、3A库（自动曝光、自动白平衡、自动对焦）以及全套调教和校准工具。在未来Mali-C55 ISP 将配备面向物联网的 Arm 整体解决方案、。

在最小的芯片面积内实现最高性能

Mali-C55 可在所有 Arm Mali ISP 中最小的硅片面积中以低功耗提供高达 1.2 千兆像素/秒的吞吐量，适用于电池供电设备和边缘 AI 视觉用例。新型 Mali-C55 图像信号处理器以同类领先的 Mali-C52 ISP 为基础，通过提供以下功能的增强功能来支持需要高质量图像输出的应用：

Arm Iridix 局部音调映射

Arm Temper temporal降噪

Arm Sinter spatial降噪

支持高动态范围 （HDR） 传感器

Iridix 局部色调映射是将强度变换应用于图像的过程，通过使用从图像中的局部区域收集的信息来实现更好的可视化。Iridix 将图像中的这些局部区域定义为大小相等的网格。它从每个网格中提取统计信息，以将收集的统计信息应用于映像中的相应局部区域。与Mali-C52相比，Mali-C55通过平滑每个局部色调曲线来改进Iridex局部色调映射算法，从而实现明亮光源周围更自然的衰减。

Temper 是一种时间降噪算法，通过组合连续帧来提高低光照条件下的图像质量。与Mali-C52相比，Mali-C55不仅通过更新的降噪算法提高了图像质量，而且内存带宽降低了50%。

Sinter 2.6是一种改进的空间降噪技术，可改善色彩通道中的细节和噪声平衡。与Mali-C52相比，Mali-C55的Sinter矿通过为每个颜色通道使用特定的寄存器实现了更好的细节平衡。

Temper和Sinter功能模块旨在通过在模块之间共享信息，在各个区域应用更强的降噪功能来协同工作，以获得显着更好的图像质量。与以前的ISP设计相比，Temper和Sinter块顺序在管道中切换。通过这种方式，Temper的输入运动掩码提高了整体运动自适应降噪性能，同时提供了每个平面的噪声分析。

对于需要高吞吐量和低延迟的计算机视觉应用，可以通过启用或禁用上述功能来配置Mali-C55 ISP。这种可配置性有助于在不同应用内提供最大的性能和功能，使其成为各种用例的理想选择。

高动态范围

与前代产品相比，增强了对高动态范围 （HDR） 传感器的支持，具有 2：1 HDR 拼接、数字叠加 （DOL） 和双像素 HDR，可应对具有挑战性的照明和天气条件。Mali-C55 具有多达 8 个输入的多摄像头处理功能，可支持高达 4800 万像素/8K 的分辨率。上一代，maliC-52仅通过单个界面支持多达4个摄像头，最大支持1600万像素。Mali-C55 具有图像质量、吞吐量、功耗和硅片面积的最佳组合，可满足各种消费类、商业和工业视觉系统应用的要求。

高度灵活的配置

可配置硅片，可根据需要选择处理模块，包括颜色降噪、全分辨率输出流水线中的降频器以及单缓冲或双缓冲配置。在现代SoC中，ISP的输出越来越多地直接连接到机器学习加速器，以便通过神经网络或其他ML算法进行进一步处理。这通常意味着为ML模型提供缩小的图像来检测和识别对象，甚至尝试更复杂的推理，如姿势估计。Mali-C55提供了第二个输出管道，可以输出适合输入到任何机器l增益加速器的缩小图像。将ISP与机器学习加速器配对，能够使用其他转换器模型做为去噪技术，从而将ML功能添加到图像处理管道中，从而进一步提高图像质量。

由于对更高分辨率的需求不断增长，内存带宽预计将成为即将推出的面向视觉的SoC的关键瓶颈。在这样的SoC中添加机器学习加速器可能会进一步增加带宽要求，从而加剧问题。Mali-C55 支持与其他产品（如 Arm 帧缓冲压缩 （AFBC））集成，这些产品可以解决此类带宽问题，并在系统级别提供巨大优势。

Mali-C55可以与互补产品无缝集成，包括：

机器学习加速器

Arm缓冲压缩 （AFBC）

Arm Mali-C10几何畸变校正 （GDC）

这种技术组合可以在系统范围内实现最佳的成像解决方案。

支持 ML 的摄像机正在实现一种新的模式 - “软件定义的摄像机” - 这为 OEM 和服务提供商在世界各地部署摄像机提供了新方法。关键硬件功能是预先提供的，但具有足够的 ML 和通用处理功能，以便随着时间的推移改进或启用其他软件功能。订阅和其他收入模式正在围绕这些动态功能进行开发。我们预计Mali-C55 ISP将成为灵活且功能强大的计算系统的关键组成部分，从而促进这一趋势。

软件和工具支持

与任何 Arm 解决方案一样，软件和工具是 Mali-C55 产品的重要组成部分。Mali-C55 被许可方可以使用完整的软件包来控制以下功能：

互联网服务提供商

传感器

自动白平衡、自动对焦和自动曝光

裸机和 Linux（Video4Linux 框架 - V4L2）支持

ISP用户还需要客观和主观调谐的能力，Arm提供了一整套调整和校准工具。Arm 工具可帮助开发人员实现所需的图像质量，这对于视觉设备至关重要。Arm 软件和工具可实现最佳设计并缩短上市时间。

Arm 还提供专门的调整培训课程，并支持量身定制的调整，以满足特定的传感器和用例需要。

为了在硅片上市之前加快Mali-C55的SoC开发速度，Arm还提供了1个位精度仿真模型以及一个参考平台，可以对Mali-C55图像质量进行预构建和预调整的评估。

Arm继续使生态系统中的更多合作伙伴能够为所有Mali SP产品（包括Mali-C55）提供ISP调优服务。

交付面向物联网的 Arm 整体解决方案路线图

在过去的一年里，Arm推出了面向物联网的Arm整体解决方案，以加速物联网的发展。作为路线图的一部分，我们计划将Mali-C55纳入即将推出的物联网整体解决方案中 - 从视觉系统的完整参考设计开始，Mali-C55图像信号处理器将配备预先验证的解决方案，该解决方案将支持特定的传感器和双输出模式，该模式无缝连接到执行各种功能的机器学习加速器。

解决各种图像处理用例

Mali-C55 提供图像质量、高吞吐量、功耗和硅片面积的最有效组合。它可以实现广泛的应用，包括端点AI，智能家居摄像头，AR / VR和智能显示器。

它可以满足视觉应用对具有挑战性照明和天气条件下不同功率包络的有线或电池供电设备的不断增长的需求。Mali-C55 可以通过 Cortex-A 或 Cortex-M CPU 无缝集成到 SoC 设计中，因为它包括行业标准 AXI 和 AHB 接口。

Mali-C55 提供广泛的可配置性选项，提供最高效的实施以支持目标用例。例如，仅计算机视觉应用程序不需要与全彩色显示输出相同级别的图像处理。使用Mali-C55，可以省略特定的图像处理功能或以模块化方式单独简化。

由于更新了色彩再现和降噪功能，Mali-C55还具有更高的图像质量，并且具有更高的性能，吞吐量高达1.2Gpix / sec。

Mali-C55 ISP是Arm成像产品发展的下一步。Arm能够在不断扩大的智能摄像头领域提供市场领先的产品，与现有的物联网摄像头系统相比，性能和效率将显著提升。

---

本文编译整理自：

Mali-C55

https://developer.arm.com/Processors/Mali-C55

Documentation – Arm Developer

https://developer.arm.com/documentation/107603/0100/?lang=en

Arm Mali-C55: Image processing with smallest silicon area and highest performance - Internet of Things (IoT) blog - Arm Community blogs - Arm Community

https://community.arm.com/arm-community-blogs/b/internet-of-things-blog/posts/new-image-signal-processor-mali-c55

Arm Unveils High-Performance Mali-C55 Image Signal Processor with Machine Learning, IoT Focus - Hackster.io

https://www.hackster.io/news/arm-unveils-high-performance-mali-c55-image-signal-processor-with-machine-learning-iot-focus-97fc195695e1

Arm 发布全新图像信号处理器 助推物联网及嵌入式市场视觉系统发展 - 21ic电子网

https://www.21ic.com/a/929793.html