当前位置:首页 > 新基建 > 新基建
[导读]Cerebras 展示了其第二代晶圆级引擎的功能,宣布它创造了有史以来在单个设备上训练的最大 AI 模型的记录。 首次在单台设备上训练了具有 200 亿个参数的自然语言处理网络 GPT-NeoX 20B。这就是为什么这很重要。

Cerebras 展示了其第二代晶圆级引擎的功能,宣布它创造了有史以来在单个设备上训练的最大 AI 模型的记录。

首次在单台设备上训练了具有 200 亿个参数的自然语言处理网络 GPT-NeoX 20B。这就是为什么这很重要。

为什么我们需要训练这么大的模型?

一种新型的神经网络,变压器,正在接管。如今,Transformer 主要用于自然语言处理 (NLP),其注意力机制可以帮助发现句子中单词之间的关系,但它们正在扩展到其他 AI 应用程序,包括视觉。变压器越大,精度越高。语言模型现在通常有数十亿个参数,并且它们正在迅速增长,没有任何放缓的迹象。

使用大型变压器的一个关键领域是在医学研究中的应用,例如表观基因组学,它们被用来模拟基因的“语言”——DNA序列。

为什么这在单个设备上完成很重要?

今天的大型模型大多使用多处理器系统进行训练,通常是 GPU。Cerebras 表示,它的客户发现在数百个处理器上划分巨大的模型是一个耗时的过程,这对于每个模型和每个特定的多处理器系统都是独一无二的,基于模型的属性和每个处理器的特性(即,什么它是一种处理器,它有多少内存)和 I/O 网络的特性。这项工作不能移植到其他模型或系统。

通常对于多处理器系统,有三种类型的并行在起作用:

· 如果模型适合单个处理器,则可以将其复制到其他处理器上,并且每个处理器都使用数据子集进行训练——这称为数据并行性,相对简单。

· 如果模型不适合一个处理器,则模型可以在处理器之间拆分,每个处理器上运行一个或多个层——这称为流水线模型并行性。但是,这些层需要按顺序运行,因此用户必须手动评估每层需要多少内存和 I/O,以确保没有瓶颈。它比数据并行更复杂。

· 如果模型的一层太大以至于它无法容纳在一个处理器上,它甚至会更加复杂。张量模型并行性必须用于跨处理器拆分层,增加了另一个维度的复杂性,这也会对内存和 I/O 带宽造成压力。

大型模型,例如 Cerebras 公告中的 GPT-NeoX 20B,需要所有三种类型的并行性进行训练。

Cerebras 的 CS-2 避免了模型并行化的需要,部分原因在于其处理器的庞大尺寸——它实际上是一个巨大的850,000 核处理器,位于单个晶圆大小的芯片上,足以容纳最大的网络层——部分原因是 Cerebras从计算中分离出内存。可以添加更多内存来支持更多参数,而无需添加更多计算,从而保持系统计算部分的架构相同。

无需使用并行性,无需花费时间和资源手动划分模型以在多处理器系统上运行。此外,如果没有流程的定制部分,模型变得可移植。在具有多个参数的 GPT 模型之间进行更改只需更改一个文件中的四个变量。类似地,在 GPT-J 和 GPT-Neo 之间切换也只需要几次按键。据 Cerebras 称,这可以节省数月的工程时间。

对更广泛的行业有何影响?

NLP 模型已经变得如此庞大,以至于在实践中,只有少数公司拥有足够的资源——无论是计算成本还是工程时间——来训练它们。

Cerebras 希望通过在云中提供其 CS-2 系统,以及帮助客户减少所需的工程时间和资源,它可以为更多的公司提供大规模的模型培训,即使是那些没有庞大系统工程团队的公司. 这包括加速科学和医学研究以及 NLP。

单个 CS-2 可以训练具有数千亿甚至数万亿参数的模型,因此对于未来的巨大网络以及今天的网络来说,都有足够的空间。

CEREBRAS 有真实世界的例子吗?

生物制药公司艾伯维(AbbVie)正在使用 CS-2 进行生物医学 NLP 转换器培训,这为公司的翻译服务提供支持,使庞大的生物医学文献库可跨 180 种语言进行搜索。

“我们在编程和训练 BERT LARGE模型时遇到的一个常见挑战是在足够长的时间内提供足够的 GPU 集群资源,”生物制药公司 AbbVie 的人工智能负责人 Brian Martin 在一份声明中说。“CS-2 系统将提供可缓解大部分挑战的挂钟改进,同时提供更简单的编程模型,通过使我们的团队能够更快地迭代和测试更多想法来加速我们的交付。”

葛兰素史克公司使用第一代 Cerebras 系统 CS-1 进行表观基因组学研究。该系统启用了使用数据集训练网络,否则该数据集会非常大。

GSK 人工智能和机器学习高级副总裁 Kim Branson 在一份声明中说:“葛兰素史克通过其基因组和基因研究生成了极其庞大的数据集,这些数据集需要新的设备来进行机器学习。” “Cerebras CS-2 是一个关键组件,它允许 GSK 使用以前无法达到的规模和大小的生物数据集训练语言模型。这些基础模型构成了我们许多人工智能系统的基础,并在发现转化药物方面发挥着至关重要的作用。”

其他 Cerebras 用户包括 TotalEnergies,他们使用 CS-2 加速电池、生物燃料、风流、钻井和 CO 2储存的模拟;国家能源技术实验室使用 CS-2 加速基于物理的计算流体动力学;阿贡国家实验室一直在使用 CS-1 进行 Covid-19 研究和抗癌药物;还有更多的例子。


声明:该篇文章为本站原创,未经授权不予转载,侵权必究。
换一批
延伸阅读

今天,小编将在这篇文章中为大家带来机器学习的有关报道,通过阅读这篇文章,大家可以对它具备清晰的认识,主要内容如下。

关键字: 机器学习 TensorFlow PyTorch

随着科技日新月异的进步,语音识别技术已成为人工智能领域的一项核心突破。这项技术旨在模拟人类听觉系统,通过复杂算法和模式识别手段将连续或离散的语音信号转换为可理解的文本或指令信息。本文深入探讨了语音识别技术在多个领域的广泛...

关键字: 语音识别 人工智能

随着人工智能和信息技术的飞速发展,语音识别技术已经从实验室走向了现实生活中的各个角落,成为人机交互领域的重要组成部分。语音识别产品不仅丰富了我们的日常生活,也正在深刻地改变着众多行业的工作模式和服务形态。

关键字: 语音识别 人工智能

在当今大数据和人工智能时代,机器学习作为核心的技术驱动力,正以前所未有的速度改变着我们的生活和工作方式。从基础的数据分析到复杂的决策支持系统,机器学习模型的成功构建和应用离不开一套严谨的流程。本文将详尽阐述机器学习过程中...

关键字: 机器学习 人工智能

机器学习作为人工智能领域的核心技术,其应用日益广泛,从搜索引擎优化到医疗诊断,从金融风控到自动驾驶等众多领域均发挥着重要作用。深入理解并掌握机器学习的关键步骤是成功构建高效模型和解决方案的基础。本文将详细阐述机器学习的主...

关键字: 机器学习 人工智能

是德科技(Keysight Technologies, Inc.)现已开启与全新 NVIDIA 6G 研究云平台的合作。该平台包括 NVIDIA Aerial Omniverse 数字孪生,这是一个开放、灵活的网络仿真资...

关键字: 6G 人工智能 RAN

纵观人类近现代史,每一次工业革命都是将战略性科技转化为生产力,从而创造巨大的新增财富和全面提升国家竞争力的过程;而且一个国家在工业革命面前的“沉与浮”,则取决于一个国家对这些战略性科技和产业化能力的把控。从被称为蒸汽机时...

关键字: 人工智能 算力 大模型

本文中,小编将对机器学习予以介绍,如果你想对它的详细情况有所认识,或者想要增进对它的了解程度,不妨请看以下内容哦。

关键字: 机器学习 深度学习

在这篇文章中,小编将为大家带来机器学习的相关报道。如果你对本文即将要讲解的内容存在一定兴趣,不妨继续往下阅读哦。

关键字: 机器学习 数据分析

北京——2024年3月27日,亚马逊云科技正式宣布,将与埃森哲、人工智能公司Anthropic展开全球合作,帮助企业,尤其是医疗健康、公共服务、银行和保险等受到强监管的行业,引入并规模化定制生成式AI技术,在追求创新、优...

关键字: 生成式AI 加速器 机器学习
关闭