人工智能机器学习在单处理器上训练 200 亿参数的 AI 模型

Cerebras 展示了其第二代晶圆级引擎的功能，宣布它创造了有史以来在单个设备上训练的最大 AI 模型的记录。

首次在单台设备上训练了具有 200 亿个参数的自然语言处理网络 GPT-NeoX 20B。这就是为什么这很重要。

为什么我们需要训练这么大的模型?

一种新型的神经网络，变压器，正在接管。如今，Transformer 主要用于自然语言处理 (NLP)，其注意力机制可以帮助发现句子中单词之间的关系，但它们正在扩展到其他 AI 应用程序，包括视觉。变压器越大，精度越高。语言模型现在通常有数十亿个参数，并且它们正在迅速增长，没有任何放缓的迹象。

使用大型变压器的一个关键领域是在医学研究中的应用，例如表观基因组学，它们被用来模拟基因的“语言”——DNA序列。

为什么这在单个设备上完成很重要?

今天的大型模型大多使用多处理器系统进行训练，通常是 GPU。Cerebras 表示，它的客户发现在数百个处理器上划分巨大的模型是一个耗时的过程，这对于每个模型和每个特定的多处理器系统都是独一无二的，基于模型的属性和每个处理器的特性(即，什么它是一种处理器，它有多少内存)和 I/O 网络的特性。这项工作不能移植到其他模型或系统。

通常对于多处理器系统，有三种类型的并行在起作用：

· 如果模型适合单个处理器，则可以将其复制到其他处理器上，并且每个处理器都使用数据子集进行训练——这称为数据并行性，相对简单。

· 如果模型不适合一个处理器，则模型可以在处理器之间拆分，每个处理器上运行一个或多个层——这称为流水线模型并行性。但是，这些层需要按顺序运行，因此用户必须手动评估每层需要多少内存和 I/O，以确保没有瓶颈。它比数据并行更复杂。

· 如果模型的一层太大以至于它无法容纳在一个处理器上，它甚至会更加复杂。张量模型并行性必须用于跨处理器拆分层，增加了另一个维度的复杂性，这也会对内存和 I/O 带宽造成压力。

大型模型，例如 Cerebras 公告中的 GPT-NeoX 20B，需要所有三种类型的并行性进行训练。

Cerebras 的 CS-2 避免了模型并行化的需要，部分原因在于其处理器的庞大尺寸——它实际上是一个巨大的850,000 核处理器，位于单个晶圆大小的芯片上，足以容纳最大的网络层——部分原因是 Cerebras从计算中分离出内存。可以添加更多内存来支持更多参数，而无需添加更多计算，从而保持系统计算部分的架构相同。

无需使用并行性，无需花费时间和资源手动划分模型以在多处理器系统上运行。此外，如果没有流程的定制部分，模型变得可移植。在具有多个参数的 GPT 模型之间进行更改只需更改一个文件中的四个变量。类似地，在 GPT-J 和 GPT-Neo 之间切换也只需要几次按键。据 Cerebras 称，这可以节省数月的工程时间。

对更广泛的行业有何影响?

NLP 模型已经变得如此庞大，以至于在实践中，只有少数公司拥有足够的资源——无论是计算成本还是工程时间——来训练它们。

Cerebras 希望通过在云中提供其 CS-2 系统，以及帮助客户减少所需的工程时间和资源，它可以为更多的公司提供大规模的模型培训，即使是那些没有庞大系统工程团队的公司. 这包括加速科学和医学研究以及 NLP。

单个 CS-2 可以训练具有数千亿甚至数万亿参数的模型，因此对于未来的巨大网络以及今天的网络来说，都有足够的空间。

CEREBRAS 有真实世界的例子吗?

生物制药公司艾伯维(AbbVie)正在使用 CS-2 进行生物医学 NLP 转换器培训，这为公司的翻译服务提供支持，使庞大的生物医学文献库可跨 180 种语言进行搜索。

“我们在编程和训练 BERT LARGE模型时遇到的一个常见挑战是在足够长的时间内提供足够的 GPU 集群资源，”生物制药公司 AbbVie 的人工智能负责人 Brian Martin 在一份声明中说。“CS-2 系统将提供可缓解大部分挑战的挂钟改进，同时提供更简单的编程模型，通过使我们的团队能够更快地迭代和测试更多想法来加速我们的交付。”

葛兰素史克公司使用第一代 Cerebras 系统 CS-1 进行表观基因组学研究。该系统启用了使用数据集训练网络，否则该数据集会非常大。

GSK 人工智能和机器学习高级副总裁 Kim Branson 在一份声明中说：“葛兰素史克通过其基因组和基因研究生成了极其庞大的数据集，这些数据集需要新的设备来进行机器学习。” “Cerebras CS-2 是一个关键组件，它允许 GSK 使用以前无法达到的规模和大小的生物数据集训练语言模型。这些基础模型构成了我们许多人工智能系统的基础，并在发现转化药物方面发挥着至关重要的作用。”

其他 Cerebras 用户包括 TotalEnergies，他们使用 CS-2 加速电池、生物燃料、风流、钻井和 CO 2储存的模拟;国家能源技术实验室使用 CS-2 加速基于物理的计算流体动力学;阿贡国家实验室一直在使用 CS-1 进行 Covid-19 研究和抗癌药物;还有更多的例子。