网络交换机：超大规模数据中心的无名英雄

虽然我们通常将低功耗与智能手机、智能手表和笔记本电脑等电池供电的设备联系起来，但还有其他一些不太明显的应用，其中低功耗对我们的日常生活产生了重大影响。一个这样的例子是所有“管道”和通信基础设施，通常被称为高性能计算，由现代超大规模数据中心内的网络交换机管理。

随着在家工作推动的在线活动的爆炸式增长，许多行业部门都报告了互联网使用和电子商务的巨大增长。我们在家工作、学习、玩耍，同时拥抱电子商务和在线交付、远程医疗、虚拟健身以及许多其他虚拟活动和体验。而这一切似乎都转移到了云端。

在 2010 年代初期，近 40% 的接受调查的大公司表示，他们预计将在两年内超过其 IT 能力。近十年后，几乎所有企业，无论规模或行业，都严重依赖技术来扩展和简化其运营。比以往任何时候都更重要的是，访问大量数据对于他们的成功至关重要。为了提高他们快速处理所有这些数据的能力，这些企业必须从云提供商那里获得更多的计算和存储容量，这些云提供商正在构建大规模数据中心，同时加速下一代技术的部署。

超大规模技术

当我们想到超大规模数据中心时，通常首先想到的是可信赖的服务器 CPU。性能和功耗节省来自非常可预测的 x86 扩展。我们还见证了处理能力向 FPGA、GPU 以及最近由互联网巨头内部设计的定制片上系统 (SoC) 的迁移。随着每一次后续技术的发展，处理器在历史上都以摩尔定律定义的非常可预测的方式进行了改进。超大规模数据中心的其他基本组件是有线和无线连接、网络和存储。这些还通过最新的以太网和网络标准以及最新的内存、高速连接和存储技术展现出自然的改进进展。

涌向云端的热潮集中在服务器 CPU、人工智能、高级存储器和多芯片封装。通常，性能限制不是 CPU 性能或采用的高级内存技术类型。相反，网络和连接性是瓶颈。数据在机架内的服务器之间、机架之间、建筑物之间、校园之间以及最终传输到互联网的速度有多快也是关键因素。

支撑这一关键基础设施的无名英雄是网络交换机。在短短五年内，我们看到网络交换机主机速度每两年翻一番——从 2015 年的 3.2 Tb 到 2019 年的 12.8 Tb 到 2020 年的 25.6 Tb。

我们离 51.2 Tb 的部署不远了，尤其是随着高速 SerDes 开发的进步导致单通道 112 G 长距离能力。这意味着模块带宽趋势从 2015 年的 100 G 到 2019 年的 200/400 G。我们现在正处于未来两到三年内主要的 400 G 到 800 G 速度部署的风口浪尖。这与从 2019 年开始从 28 Gbaud 光学过渡到 56 Gbaud 光学器件的改进相结合。所有这些变化都与从不归零编码到更高调制 PAM4(脉冲幅度调制，4 级)的过渡相吻合编码效率更高。

对商业市场上可用产品的快速调查显示，大多数 12.8 Tb SoC 是在 16 纳米工艺节点上制造的。对于 25.6 Tb，SoC 从 2019 年底开始转向 7 nm，并于 2020 年进入量产阶段。第一代 25.6 Tb SoC 使用 50 G SerDes，这是当时可用的最佳技术。最近的公告表明 100 G SerDes 芯片终于到来，预计从 50 G 到 100 G SerDes 的过渡以及从 7 纳米到 5 纳米工艺技术的迁移。

好处是相当显着的。考虑一个 25.6 Tbps 的交换机：如果它依赖于 50 G SerDes，则该设备将需要 512 个通道。使用 100 G SerDes，通道数减少到 256 个。通道数的显着减少导致芯片面积和功耗的减少是显着的。这些网络交换 ASIC 芯片中的每一个都消耗大量功率，超过 300 W!

下一个平台是 51.2 Tb。那么，我们如何到达那里?

新的设计范式

预计 51.2 Tb 开关 ASIC 制造将从 5 nm 开始，最终迁移到 3 nm。这主要受较长的开发周期和与代工厂先进工艺部署计划的一致性的影响。它还取决于 112 G SerDes 相对于 56 G SerDes 的可用性和采用情况，以改善“通道数与裸片尺寸与功率”的考虑。

另一种可能性是下一代网络交换机将采用分解的方法，而是使用多个裸片而不是大型单片裸片。这种方法将在两个方面有所帮助。芯片越小，它们的良率就越高，尤其是当芯片尺寸被推到光刻/光罩限制时。提高产量意味着降低成本。以小芯片形式重复使用经过硅验证的高速 SerDes 的能力将有助于加快上市时间并提高 51.2-Tb 开关 ASIC 早期部署的成功率。

然而，这种转变将需要重新思考设计方法。从单芯片设计到多芯片设计的转变需要更加关注芯片、基板和封装设计的约束和边界。这些复杂 SoC 的高速特性将带来额外的设计和验证负担。在 100 G 及以上，它不再是 SPICE 仿真。设计人员必须考虑各种材料和 s 参数的电感、寄生、传输线效应(终端)、串扰和介电系数的影响，并确保应用程序可以访问通道模型。

这导致更复杂的热设计。这不再是管理芯片内部温度的问题。还需要监控芯片上的温度梯度和热点的位置。现在必须从管芯到中介层再到封装基板再到散热器整体解决温度问题。甚至为散热器选择芯片连接材料和导热硅脂也是设计考虑因素。在这种设计复杂性水平上，没有反复试验。

如果没有大量技术创新，就不可能实现高速网络交换机 SoC。除了明显的高速 I/O (SerDes)，还需要一组基本的硬 IP 才能成功。其他支持创新包括高性能处理器内核、高密度片上存储器、高速互连(结构)和存储器带宽以及 SoC 集成。

SoC 设计平台还必须包括 IP 内核，例如 112G-LR PHY、56G-LR PHY、高带宽存储器 Gen 2/3 PHY 和 PCI Express 5.0/4.0 PHY。此外，需要低功耗 die-to-die PHY IP 来支持多芯片集成、逻辑和 I/O 分解，以实现多芯片实现。为了管理向 25.6 Tb/s 交换机以及最终向 51.2 Tb/s 交换机的必要过渡，我们需要一种新的设计方法。这些包括人工智能驱动的设计工具、先进的封装和芯片设计的其他方面长期以来被认为是理所当然的。

现在是时候提升一个档次并启动我们的创新引擎了。