神经技术进入移动端GPU,Arm让手游媲美PC游戏体验
扫描二维码
随时随地手机看文章
当前,移动设备上的游戏占比高达83%,营收也近半。广大玩家渴望能够在移动设备上获得更精彩的游戏体验。然而,受限于移动设备的功耗、尺寸、成本和散热等多方面挑战,手游的体验总是明显落后于PC上的游戏体验。
作为领先的计算平台提供商,Arm持续推动移动设备上的性能突破。去年,Arm发布了Arm ASR(Arm Accuracy Super Resolution,Arm 精锐超级分辨率技术),显著提升了GPU的性能。而在近日,Arm发布了神经技术 (Neural Technology),将专用神经加速器引入2026年推出的Arm GPU。Arm NSS(Arm Neural Super Sampling,Arm 神经超级采样)是Arm神经技术的首款应用。Arm正在通过将神经图形技术引入移动端GPU,为手游带来媲美PC的画质体验,为下一代旗舰移动设备实现画质、帧率提升,降低游戏功耗,解决手游性能瓶颈。
全面提升:速度更快、能耗更低、画质更高
将神经技术引入GPU能够大幅优化其性能表现,实现画质、帧率和分辨率提升,其实际效果在PC级的GPU上早就有所体现。然而,要将其引入到移动端GPU中,功耗和资源是一个极大的卡点。
此前推出的Arm ASR在AMD FSR2的基础上打造,且专门针对移动端进行了优化。这是一种开源的时域优化解决方案,通过一系列高效的着色器算法技术创新,Arm ASR不仅减轻了GPU的负载,也降低了带宽需求。而要实现真正更高效且高质量的优化升级效果,需要神经技术的助阵。
此番最新推出的Arm NSS用例是一款AI驱动的图形优化升级引擎,凭借更快速、更清晰、更高能效的实时AI渲染,实现了进一步的性能突破。
Arm NSS通过一套从数据中学习且经过训练的神经模型,而非静态规则来克服所面临的限制。Arm NSS不仅可以实现更好的稳定性和细节保留性能,并且在快速运动、部分遮挡物体和细微几何体场景中表现出色。具体而言,该技术能让游戏以540p分辨率进行渲染,并通过两倍性能优化升级,输出超高质量的画面。这意味着,对比于传统的全帧渲染方法,开发者可减少50%的GPU工作负载。
Arm 终端事业部产品管理总监Steve Steele在媒体发布会上表示:“Arm NSS 能够通过较低质量的输入生成同等质量的输出;或以相同的输入生成更高质量的输出,且运行时间仅需四毫秒。这意味着全方位的突破:速度更快、能耗更低、画质更高。”
Arm 神经超级采样 (NSS) 的工作流程分为三个主要阶段:首先,预处理阶段通过 GPU 着色器将输入数据(如颜色、运动向量、深度、亮度导数和去遮挡掩码)整合成单一张量,为神经网络推理做准备;接着,神经推理阶段通过使用 Vulkan ML 扩展在神经加速器上运行;最后,后处理阶段使用这些输出执行运动向量扩张、历史重投影、稀疏优化和样本累积,利用模型输出重建最终图像。
Steve Steele强调,Arm NSS对于GPU工作负载的优化,意味着开发者可以灵活选择如何利用节省的资源。既可节省下来用于降低游戏的整体功耗,也可将之用于提升帧率或增强视觉效果。
即刻开发,AI与图形管线轻松集成
搭载Arm神经技术的设备预计将于2026年底上市,而开发者现在就已经可以通过 Arm 神经图形开发套件在硬件面世前着手集成 AI 图形技术,开发者能够针对自己独特的内容和艺术构想,适配和优化Arm NSS。该开发套件已于近日在 SIGGRAPH 上发布,其包含虚幻引擎 5 插件、Vulkan ML 模拟层、GitHub 和 Hugging Face 上的开源模型,以及全面的技术文档和 Learning Path,能够帮助开发者熟悉神经图形技术并构建适配未来硬件的渲染管线。通过面向 Vulkan 的 ML 扩展(VK_ARM_tensors 和 VK_ARM_data_graph),开发者能够使用张量资源并将推理管线直接构建到渲染图中。这种集成有助于满足实时应用在移动设备上所需的延迟和效率目标。
为实现 AI 计算与图形管线的集成,Arm 在 Vulkan API 的 ML 扩展中引入了图管线 (Graph Pipeline),作为传统图形管线和计算管线之外的第三种管线。它专为移动端 GPU 高效运行神经网络推理设计,完整管理从张量输入(如颜色、运动向量、深度数据)到张量输出(如 NSS 的 4x4 滤波器内核和时域系数)的流程。除此之外,Arm 引入了VkTensor,允许将现有图像重新解释为张量,即神经网络的输入和输出形式,以此省去了数据在输入神经网络前的复制开销。并且Arm 定义了开放数据格式VGF,通过SPIR-V的扩展来描述神经网络的运算。这些面向 Vulkan API 的 ML 扩展可被任一家图形技术供应商采用。其开放性和跨供应商兼容性减少软件碎片化,进而确保其能够在移动端生态中广泛应用,提升性能与能效。
与桌面端和主机端的神经技术的提供方式不同,Arm 的所有神经技术都将全面开放,这意味着游戏工作室重新训练模型所需的模型架构、权重以及工具,全部可供使用。“Arm这样做,不仅因为赋能生态系统是其 DNA,我们还相信不同游戏有不同需求,只有通过全面开放,开发者才能针对其独特工作负载进行适配优化。”Steve Steele分享到,“Arm 不仅会全力优化此次发布的所有技术的开箱即用体验,同时也为开发者保留了底层的完整控制,那些希望进一步调优的开发者,尽可放手去尝试。”
布局神经图形技术,驱动移动计算未来
此番Arm在搭载该技术的硬件面世之前,就提前进行Arm NSS和相关开发套件发布,不仅能够帮助开发者率先布局,更是体现了Arm对于神经图形技术的前瞻布局。
除了NSS,Arm还将持续丰富其神经技术用例。据悉在不久后,Arm还将继续发布神经帧率提升 (Neural Frame Rate Upscaling, NFRU)和神经超级采样与降噪 (Neural Super Sampling and Denoising, NSSD)两个全新用例。
NFRU 利用 AI 在无需加倍渲染负载的情况下,通过在相邻渲染帧之间插入新帧,实现帧率翻倍(例如从 30fps 提升至 60fps),从而提供更流畅的游戏和动画体验。NSSD 则结合神经超级采样与降噪技术,通过 AI 减少实时路径追踪所需的每像素光线数量,同时保持高质量图像,智能降噪光线追踪图像,在移动设备上实现实时路径追踪。
但与Arm NSS有所不同的是,NFRU和NSSD作为新的神经图形用例,并不具备来自Arm ASR的技术生态基础。而Arm也在积极招募游戏工作室加入,协助技术完善,为未来的公开发布积累生态资源。
从画质优化 (NSS) 到帧率提升 (NFRU) 和光线追踪(NSSD),Arm 计划覆盖移动端图形处理的多个维度,推动边缘 AI 图形革命。而未来通过持续的技术迭代,Arm也将保持在移动计算领域的技术领先,满足手游、AR/VR 和其他视觉应用的未来需求。此外,神经技术未来不仅会在图形处理上大展身手,还能够在深度相机等应用上展示出技术潜力。
Steve Steele表示,让基于Arm生态的开发者尽可能缩短价值实现周期,正是Arm开发Arm ASR、Kleidi以及神经图形开发套件的初衷。这些技术和工具不仅要从技术层面行之有效,更要让生态系统中的每一个参与者都能从中受益。