助力GDDR6在边缘端AI推理应用，Rambus推出24Gb/s的GDDR6 内存接口子系统

据OpenAI的研究，AlexNet 到 AlphaGo Zero，数据的计算量增加了 300,000 倍。从2012年进入现代AI时代后，GPU开始逐渐在AI领域大放异彩。通过GPU更强的并行计算能力，加速了AI的算法发展。从去年开始大热的ChatGPT等大模型的发展，也离不开对大规模数据集的训练。这些人工智能应用的快速发展，对处理器及带宽进一步提出了更高的要求和标准。

“但是，现在我们存在着一个非常重要的误区，尽管算力的增长非常显著，但是带宽上的进步却无法改善，造成两者间的不匹配。也就是说，在现有高算力的基础之上，很多的GPU资源其实并没有得到充分的占用和利用，这也就造成了现在的困境。”Rambus IP 核产品营销高级总监 Frank Ferro指出了制约当前AI发展的这一难题。为了应对不断增长的带宽需求，提高接口带宽的速度，Rambus推出了最新的GDDR6 PHY和控制器产品组合。全新的GDDR6 PHY达到了业界领先的24Gb/s的数据传输速率，成为新的行业标杆。

AI推理向边缘端转移，GDDR6高速商用化进行中

通常提到人工智能的应用场景可以分为训练和推理两大类。AI模型训练需要录入大量的多模态数据，是一个对于算力消耗非常大，同时又非常耗时的过程。完成了对于AI训练之后，就可以将神经网络打造成完整模型，部署到边缘和应用场景中。推理相比训练对于算力的需求大幅下降，当前训练通常在算力密集的数据中心、云服务器上进行，而推理已经逐步转移到了边缘端。在边缘端部署AI推理，通常受限于边缘端的场景，对于带宽需求有所下降，但对于成本和功耗更为敏感。像NLP（自然语言处理）、数据库管理等AI推理模型，都已经开始在边缘大量应用。

“随着AI推理的应用不断向边缘端迁移，我们会把已经训练过的系统实现更快的处理方式，处理速度的提高是非常大的迁移到边缘端的优势。正是在这个变化的趋势过程中，GDDR6也开始发挥它本身的作用。作为更加理想的方案，GDDR6有着高带宽以及低时延的特性，能够帮助边缘端更好地处理数据。”Frank Ferro分享到。

AI训练所需的带宽通常是TB级的，而观察当前AI推理具体应用，带宽需求通常落在200～500Gb/s的范围之间。从带宽需求上来看，HBM更适合需要高带宽低延迟的AI训练场景，而GDDR则更适合大容量高带宽的AI推理场景。每一个GDDR6设备的带宽都可以达到96Gb/s，因此将4、5个GDDR6设备组合在一起，就可以轻松满足500Gb/s及以下的AI推理带宽需求。

最高速率24Gb/s的GDDR6 PHY子系统

Rambus最新的GDDR6 PHY IP提供了高达24Gb/s的业界最高GDDR6内存接口数据速率，可以为图形处理、AI计算、和边缘端网络应用提供高带宽低功耗的数据传输。Rambus提供了PHY和控制器集成的子系统。如下图所示是Rambus DDR6内存接口子系统的应用框图，其中PHY物理层通过两个16位插槽与DRAM进行直接连接，另一侧是DFI接口与内存的控制器进行连接，控制器会直接接入到整个系统的逻辑控制。中间两个蓝色的部分分别就是控制器和PHY，也就是一个完整的子系统，Rambus会根据客户具体应用场景和实际的诉求对子系统来进行优化，并将其作为完整的子系统来交付给客户。

据悉，Rambus GDDR6 PHY 完全符合 JEDEC GDDR6 (JESD250) 标准，具备四大核心优势。首先是大幅提升的性能，每个引脚的速度高达 24 Gb/s，可为AI推理等应用场景带来巨大性能优势和收益。第二点优势来自对于功耗的优秀管理，据Frank Ferro介绍，在GDDR6的设计过程当中，工程师和设计师们在保证非常高的性能前提之下，也能够保证其在相对比较低电压的情况下运行。这是非常具备挑战性的，良好的功耗管理更符合边缘端的应用需求。第三大优势在于PHY和控制器的完整集成，将集成测试好的子系统直接交付给客户，客户直接基于子系统进行定制化应用。第四大优势在于系统层面的设计。系统要能够达到24Gb/s下运行，必须确保具有非常良好的系统级信号完整性（SI）。Rambus的信号完整性工程师，会在客户设计初期就进行紧密的合作，确保客户系统运行时候能够达到最高的性能。

GDDR6赋能边缘推理应用

不同边缘计算的垂直市场对于GDDR都表现出了浓厚的兴趣，其中汽车ADAS、网络交换机、5G基础架构和数据中心等应用中已经有了GDDR5的大量用例，随着GDDR6的逐步渗透，将会进一步提升这些应用中的占比。

目前在路上行驶的车辆通常使用带宽低于 60GB/s 的 DRAM 内存解决方案，而要达到L3、L4级别的自动驾驶，预计系统需要具备512GB/s～1024GB/s的带宽，才能确保实现实时可靠的决策。因此GDDR6成为了满足ADAS需求的理想选择，内存厂商已经推出了面向车载应用的GDDR产品。而在数据中心中，越来越多的PCIe加速卡也在采用GDDR6的内存技术，来实现服务器的带宽进一步提升。在网络层面的应用中，越来越多的具体网络应用场景都已经开始在边缘端实现。尤其是有的应用要求所有传入的数据必须在本地进行实时处理，这种需求对本身产品架构的要求会很高。因此传统的DDR方案已经远远不能满足要求了。要达到这样要求，就需要有很多的传统DDR设备。而采用GDDR6就能够大幅度降低网络边缘设备对DDR数量的需求，这也是GDDR6能够在边缘设备得到更加广泛部署的一个原因。

GDDR6在各个垂直领域的渗透率将会逐步提升，而GDDR6的应用也必然会增加对于GDDR6接口PHY子系统的市场需求。据Frank Ferro介绍，Rambus的GDDR6 接口IP已经实现了流片，正在进行相关仿真，预计将会在今年夏天推出完整的最终硅片。