当前位置:首页 > 厂商动态 > Arm
[导读]为神经优化升级技术奠定基础,赋能新一代 Arm GPU 实现更清晰、更流畅的 AI 游戏体验

为满足用户对于手游体验的期望,例如更清晰的画面、更流畅的游戏体验,以及更长的电池续航时间,全球手游开发者正面对着日益激增的压力。在受限的移动设备上平衡这些目标体验,往往需要权衡取舍。传统的优化升级方法不够灵活,而实时人工智能 (AI)渲染则又依然存在复杂、耗电或依赖硬件性能等难题。

Arm 神经超级采样 (Arm Neural Super Sampling,Arm NSS) 能够直接应对上述挑战。作为 Arm 在本周举行的 SIGGRAPH 上宣布的图形技术的首个用例,这是一项由 AI 驱动的新一代优化升级解决方案。

Arm NSS 将桌面级别的视觉效果引入手游,依托专用神经加速器,并将通过 Arm 神经技术集成到未来推出的 Arm GPU 中。这标志着移动端图形技术的重要创新,实现了实时超级分辨率,将时域一致性与感知质量相结合,带来远胜于传统技术的卓越表现。

搭载这项技术的设备预计将于 2026 年底上市,而开发者即刻起就可通过 Arm 神经图形开发套件着手探索 Arm NSS。该套件包含虚幻引擎 (Unreal Engine) 插件和 Vulkan 模拟层,使开发者能够体验神经优化升级工作流、游戏集成原型设计,并为面向 Vulkan 机器学习 (ML) 的渲染管线做好准备,而无需等待兼容硬件的面世。

通过神经性能实现实时优化升级

传统优化升级技术依赖人工设计的启发式方法或有限的空域数据,Arm NSS 通过神经推理,以更高的保真度还原细节、运动状态和光照变化。

Arm NSS 在典型的管线中包含三个步骤:

•预处理:将输入数据(颜色、运动向量、深度)整理为张量格式;

•神经推理:通过使用 Vulkan ML 扩展在神经加速器上运行;

•后处理:利用模型输出重建最终图像。

这使得 Arm NSS 能够逐步扩展性能,利用更少的资源处理较高的分辨率,非常适合应用在硬件受限的移动设备上。

以 Arm ASR 为基石,以 ML 进一步强化性能

Arm NSS 专为在搭载 Arm 神经技术的未来移动设备上实现实时性能而设计,但其具体的延迟表现还取决于 GPU 的配置、分辨率和用例等实现因素。在 Arm 的“魔法城堡”演示中,通过使用 Arm NSS,GPU 工作负载可降低 50%,且在持续性能的设定下,当模型以 540p 分辨率渲染时,能在四毫秒就可优化升级至 1080p。

开发者如果想深入了解模型性能与画质对比,请在技术白皮书中查阅细节。

Arm NSS 是基于 Arm 精锐超级分辨率技术 (Arm Accuracy Super Resolution, Arm ASR) 的成果而构建,Arm ASR 是一款面向移动设备,实现时域优化升级的开源解决方案。而 Arm NSS 是针对搭载神经加速器的移动设备,旨在为开发者提供先进的神经优化升级解决方案,因此,对于不具备此类能力的移动设备,Arm ASR 仍然是经高度优化的可选方案。

据 Arm 内部测试结果显示,Arm NSS 已经接近 NVIDIA DLSS2 级别的画质精度,但所使用的模型更小,且针对移动设备进行了优化。团队对 Arm ASR、DLSS2 以及 AMD 的超级分辨率锐画技术 2 (FSR2) 进行了对比测试,收集了包括峰值信噪比 (PSNR)、结构相似性指数 (SSIM)、空域-时域降参考熵差 (STRRED) 等多项指标,结果验证了 Arm NSS 的高水平表现。

Arm ASR 与 Arm NSS:你需要了解的要点

即刻体验 Arm NSS

当一项新技术落地时,开发者需要一个可以实验和探索其创造力的环境。这正是 Arm 推出神经图形开发套件的原因,该套件为开发者提供了一切所需,包括工具、示例代码和资源,以便开发者着手实验、测试并为下一波移动端图形技术做好准备。其中还包括:

•Vulkan ML 模拟层

•虚幻引擎 5 插件

•通过 Hugging Face 和 GitHub 提供的预训练开源模型

•全面的技术文档和 Learning Path 帮助团队入门

Arm 神经图形开发套件还提供了对面向 Vulkan 的 ML 扩展(VK_ARM_tensors 和 VK_ARM_data_graph)的早期访问。这些扩展使得开发者能够使用张量资源并将推理管线直接构建到渲染图中。这种集成有助于满足实时应用在移动设备上所需的延迟和效率目标。

这些资源能让游戏开发者在首批硬件面世前便能着手集成神经图形技术。团队可以使用能反映新一代 Arm GPU 架构的桌面环境来对 Arm NSS 进行原型设计或探索新的用例。该开发套件能够在硬件面世之前实现深度集成和性能测试。

在虚幻引擎中集成和测试

虚幻引擎 5 插件实现了将 Arm NSS 集成到虚幻引擎中,使开发者能够快速将优化升级技术增加到他们的项目中,并预览在新一代移动设备上运行的游戏效果。该插件还与虚幻引擎的神经网络引擎 (Neural Network Engine, NNE) 框架结合,用于管理 ML 资源并与渲染图同步调度推理任务。

这些功能使得开发者能够以最小的开销,将神经优化升级技术直接集成到现有的渲染流程中,进而有助于在 AI 后处理过程中保持帧时和实时响应性。

值得注意的是,虚幻引擎 5 插件中运行的 ML 推理使用的是软件模拟。其性能并不能完全反映实际芯片上的预期表现。该插件的主要目标是支持实验和集成。

Vulkan ML 模拟层

搭载 Arm 神经技术的新一代 Arm GPU 驱动的 2026 年移动设备将能原生支持 Vulkan ML 扩展。为了做好准备,我们需找到一种方式,让利用这些扩展技术编写代码的开发者得以运用这些新功能。

这正是 Arm 提供 Vulkan ML 模拟层的缘由,它显示了所需扩展的软件模拟。开发者可以启用模拟层并使用扩展 Vulkan 头文件来运行使用了 Vulkan ML扩展的内容。NNERuntimeRDGVulkanML 就是很好的一个例证,它可通过虚幻引擎 5 插件来使用,并且它通过使用 Vulkan ML 扩展的原生后端,扩展了 NNE 框架。

开启移动端神经图形技术新时代

Arm NSS 是首批专为手游打造的神经图形解决方案之一,结合了高质量的优化升级技术和开发者就绪的软件开发套件。它通过开放、开发者就绪的基础设施,实现了高质量的图像表现、低延迟和高能效。通过 Arm NSS,Arm 不仅提供了神经优化升级技术,还赋予了开发者如何使用这项技术的能力。

Arm 神经图形开发套件为开发者提供了工具和能力,使他们能够针对自己独特的内容和艺术构想,适配和优化 Arm NSS,进而确保开发者为 2026 年首批基于搭载 Arm 神经技术的 Arm GPU 而构建的移动设备的上市做好准备。

即刻开始实验、测试并为下一波移动端图形技术做好准备。欢迎访问 Arm 开发者中心的 Arm NSS 页面,探索 Arm 神经图形开发套件,并尝试预训练模型。

工具已就绪,快来探索未来吧!

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭