谷歌：AI 超级计算机比英伟达 A100 快且环保

据业内信息，近日谷歌公布了其用于训练其人工智能 (AI) 模型的超级计算机的一些新细节，并表示该系统比英伟达公司的同类系统更快、更节能。谷歌认为对于同等大小的系统，其芯片比基于英伟达 A100 芯片的系统快 1.7 倍，能效高 1.9 倍。

谷歌自己的定制芯片称为张量处理单元，均用于谷歌自己的人工智能训练，谷歌之前发表的论文详细介绍了它如何使用自己的光开关将 4000 多个芯片串在一起成为一台超级计算机的。

“A100 是人类迄今为止制造出的最强大 7nm 制程芯片!”这是老黄的原话，英伟达 A100 采用目前最先进的台积电 7nm 制程工艺，拥有 540 亿个晶体管，它是一块 3D 堆叠芯片，面积高达 826mm^2，GPU 的最大功率达到了 400W。

英伟达 A100 上搭载了容量 40G 的三星 HBM2 显存，比 DDR5 速度更快，第三代 Tensor Core。同时它的并联效率也有了巨大提升，其采用带宽 600GB/s 的新版 NVLink，几乎达到了 10 倍 PCIE 互联速度。

英伟达 A100 也针对云服务的虚拟化进行了升级，因为全新的 multi-instance GPU 机制，在模拟实例时，每块 GPU 的吞吐量增加了 7 倍。最终在跑 AI 模型时，如果用 PyTorch 框架，相比上一代 V100 芯片，A100 在 BERT 模型的训练上性能提升 6 倍，BERT 推断时性能提升 7 倍。

谷歌的 AI 超级计算机是通过模型提供数据的过程，使它们在诸如用类人文本响应查询或生成图像等任务中发挥作用。Google TPU 现在已经是第四代了。谷歌通过自己定制开发的光开关将 4000 多个芯片串在一起成为一台超级计算机，改善这些连接已成为构建 AI 超级计算机的公司之间竞争的关键点。

因为无论是谷歌的 Bard 还是 OpenAI 的 ChatGPT 等技术的所谓大型语言模型的规模已经爆炸式增长，这意味着它们太大而无法存储在单个芯片上，这些模型必须分布在数千个芯片上，然后这些芯片必须协同工作数周或更长时间来训练模型。

谷歌的 PaLM 模型是其迄今为止最大的公开披露的语言模型，是通过在 4000 台芯片超级计算机中的两台超过 50 天的时间内将其拆分来训练的。谷歌表示其超级计算机可以轻松地动态重新配置芯片之间的连接，有助于避免出现问题并进行调整以提高性能。

谷歌的研究院士和工程师在关于该系统的博客文章中表示，电路切换使得绕过故障组件变得容易，这种灵活性甚至允许我们改变超级计算机互连的拓扑结构，以加速 ML(机器学习)模型的性能。

虽然谷歌现在才公布有关其超级计算机的详细信息，但是自从 2020 年以来，这个超级计算机一直在谷歌部位于俄克拉荷马州梅斯县的数据中心上线，谷歌说初创公司 Midjourney 使用该系统训练其模型，该模型在输入几句文字后生成新图像，对于同等大小的系统，其芯片比基于英伟达 A100 芯片的系统快 1.7 倍，能效高 1.9 倍，后者与第四代 TPU 同时上市，对此英伟达没有回复。

谷歌认为没有将其第四代 TPU 与英伟达目前的旗舰 H100 芯片进行比较，因为 H100 在谷歌芯片之后上市，并且采用更新的技术制造。谷歌暗示它可能正在开发一种新的 TPU 来与英伟达 H100 竞争，但没有提供任何细节。