当前位置:首页 > 原创 > 刘岩轩
[导读]从画质优化 (NSS) 到帧率提升 (NFRU) 和光线追踪(NSSD),Arm 计划覆盖移动端图形处理的多个维度,推动边缘 AI 图形革命。而未来通过持续的技术迭代,Arm也将保持在移动计算领域的技术领先,满足手游、AR/VR 和其他视觉应用的未来需求。

当前,移动设备上的游戏占比高达83%,营收也近半。广大玩家渴望能够在移动设备上获得更精彩的游戏体验。然而,受限于移动设备的功耗、尺寸、成本和散热等多方面挑战,手游的体验总是明显落后于PC上的游戏体验。

作为领先的计算平台提供商,Arm持续推动移动设备上的性能突破。去年,Arm发布了Arm ASR(Arm Accuracy Super Resolution,Arm 精锐超级分辨率技术),显著提升了GPU的性能。而在近日,Arm发布了神经技术 (Neural Technology),将专用神经加速器引入2026年推出的Arm GPU。Arm NSS(Arm Neural Super Sampling,Arm 神经超级采样)是Arm神经技术的首款应用。Arm正在通过将神经图形技术引入移动端GPU,为手游带来媲美PC的画质体验,为下一代旗舰移动设备实现画质、帧率提升,降低游戏功耗,解决手游性能瓶颈。


全面提升:速度更快、能耗更低、画质更高

将神经技术引入GPU能够大幅优化其性能表现,实现画质、帧率和分辨率提升,其实际效果在PC级的GPU上早就有所体现。然而,要将其引入到移动端GPU中,功耗和资源是一个极大的卡点。

此前推出的Arm ASR在AMD FSR2的基础上打造,且专门针对移动端进行了优化。这是一种开源的时域优化解决方案,通过一系列高效的着色器算法技术创新,Arm ASR不仅减轻了GPU的负载,也降低了带宽需求。而要实现真正更高效且高质量的优化升级效果,需要神经技术的助阵。

此番最新推出的Arm NSS用例是一款AI驱动的图形优化升级引擎,凭借更快速、更清晰、更高能效的实时AI渲染,实现了进一步的性能突破。

Arm NSS通过一套从数据中学习且经过训练的神经模型,而非静态规则来克服所面临的限制。Arm NSS不仅可以实现更好的稳定性和细节保留性能,并且在快速运动、部分遮挡物体和细微几何体场景中表现出色。具体而言,该技术能让游戏以540p分辨率进行渲染,并通过两倍性能优化升级,输出超高质量的画面。这意味着,对比于传统的全帧渲染方法,开发者可减少50%的GPU工作负载。

Arm 终端事业部产品管理总监Steve Steele在媒体发布会上表示:“Arm NSS 能够通过较低质量的输入生成同等质量的输出;或以相同的输入生成更高质量的输出,且运行时间仅需四毫秒。这意味着全方位的突破:速度更快、能耗更低、画质更高。”

Arm 神经超级采样 (NSS) 的工作流程分为三个主要阶段:首先,预处理阶段通过 GPU 着色器将输入数据(如颜色、运动向量、深度、亮度导数和去遮挡掩码)整合成单一张量,为神经网络推理做准备;接着,神经推理阶段通过使用 Vulkan ML 扩展在神经加速器上运行;最后,后处理阶段使用这些输出执行运动向量扩张、历史重投影、稀疏优化和样本累积,利用模型输出重建最终图像。

Steve Steele强调,Arm NSS对于GPU工作负载的优化,意味着开发者可以灵活选择如何利用节省的资源。既可节省下来用于降低游戏的整体功耗,也可将之用于提升帧率或增强视觉效果。


即刻开发,AI与图形管线轻松集成

搭载Arm神经技术的设备预计将于2026年底上市,而开发者现在就已经可以通过 Arm 神经图形开发套件在硬件面世前着手集成 AI 图形技术,开发者能够针对自己独特的内容和艺术构想,适配和优化Arm NSS。该开发套件已于近日在 SIGGRAPH 上发布,其包含虚幻引擎 5 插件、Vulkan ML 模拟层、GitHub 和 Hugging Face 上的开源模型,以及全面的技术文档和 Learning Path,能够帮助开发者熟悉神经图形技术并构建适配未来硬件的渲染管线。通过面向 Vulkan 的 ML 扩展(VK_ARM_tensors 和 VK_ARM_data_graph),开发者能够使用张量资源并将推理管线直接构建到渲染图中。这种集成有助于满足实时应用在移动设备上所需的延迟和效率目标。

为实现 AI 计算与图形管线的集成,Arm 在 Vulkan API 的 ML 扩展中引入了图管线 (Graph Pipeline),作为传统图形管线和计算管线之外的第三种管线。它专为移动端 GPU 高效运行神经网络推理设计,完整管理从张量输入(如颜色、运动向量、深度数据)到张量输出(如 NSS 的 4x4 滤波器内核和时域系数)的流程。除此之外,Arm 引入了VkTensor,允许将现有图像重新解释为张量,即神经网络的输入和输出形式,以此省去了数据在输入神经网络前的复制开销。并且Arm 定义了开放数据格式VGF,通过SPIR-V的扩展来描述神经网络的运算。这些面向 Vulkan API 的 ML 扩展可被任一家图形技术供应商采用。其开放性和跨供应商兼容性减少软件碎片化,进而确保其能够在移动端生态中广泛应用,提升性能与能效。

与桌面端和主机端的神经技术的提供方式不同,Arm 的所有神经技术都将全面开放,这意味着游戏工作室重新训练模型所需的模型架构、权重以及工具,全部可供使用。“Arm这样做,不仅因为赋能生态系统是其 DNA,我们还相信不同游戏有不同需求,只有通过全面开放,开发者才能针对其独特工作负载进行适配优化。”Steve Steele分享到,“Arm 不仅会全力优化此次发布的所有技术的开箱即用体验,同时也为开发者保留了底层的完整控制,那些希望进一步调优的开发者,尽可放手去尝试。”


布局神经图形技术,驱动移动计算未来

此番Arm在搭载该技术的硬件面世之前,就提前进行Arm NSS和相关开发套件发布,不仅能够帮助开发者率先布局,更是体现了Arm对于神经图形技术的前瞻布局。

除了NSS,Arm还将持续丰富其神经技术用例。据悉在不久后,Arm还将继续发布神经帧率提升 (Neural Frame Rate Upscaling, NFRU)和神经超级采样与降噪 (Neural Super Sampling and Denoising, NSSD)两个全新用例。

NFRU 利用 AI 在无需加倍渲染负载的情况下,通过在相邻渲染帧之间插入新帧,实现帧率翻倍(例如从 30fps 提升至 60fps),从而提供更流畅的游戏和动画体验。NSSD 则结合神经超级采样与降噪技术,通过 AI 减少实时路径追踪所需的每像素光线数量,同时保持高质量图像,智能降噪光线追踪图像,在移动设备上实现实时路径追踪。

但与Arm NSS有所不同的是,NFRU和NSSD作为新的神经图形用例,并不具备来自Arm ASR的技术生态基础。而Arm也在积极招募游戏工作室加入,协助技术完善,为未来的公开发布积累生态资源。

从画质优化 (NSS) 到帧率提升 (NFRU) 和光线追踪(NSSD),Arm 计划覆盖移动端图形处理的多个维度,推动边缘 AI 图形革命。而未来通过持续的技术迭代,Arm也将保持在移动计算领域的技术领先,满足手游、AR/VR 和其他视觉应用的未来需求。此外,神经技术未来不仅会在图形处理上大展身手,还能够在深度相机等应用上展示出技术潜力。

Steve Steele表示,让基于Arm生态的开发者尽可能缩短价值实现周期,正是Arm开发Arm ASR、Kleidi以及神经图形开发套件的初衷。这些技术和工具不仅要从技术层面行之有效,更要让生态系统中的每一个参与者都能从中受益。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭