当前位置:首页 > 厂商动态 > Achronix半导体
[导读]本文根据完整的基准测试,将Achronix Semiconductor公司推出的Speedster7t FPGA与GPU解决方案进行比较,在运行同一个Llama2 70B参数模型时,该项基于FPGA的解决方案实现了超越性的LLM推理处理。

采用 FPGA 器件来加速LLM 性能,在运行 Llama2 70B 参数模型时,Speedster7t FPGA 如何与 GPU 解决方案相媲美?证据是令人信服的——Achronix Speedster7t FPGA通过提供计算能力、内存带宽和卓越能效的最佳组合,在处理大型语言模型(LLM)方面表现出色,这是当今LLM复杂需求的基本要求。

像 Llama2 这样的 LLM 的快速发展正在为自然语言处理(NLP)开辟一条新路线,有望提供比以往任何时候都更像人类的交互和理解。这些复杂的 LLM 是创新的催化剂,推动了对先进硬件解决方案的需求,以满足其密集处理需求。

我们的基准测试突出了 Speedster7t 系列处理 Llama2 70B 模型复杂性的能力,重点关注 FPGA 和 LLM 性能。这些测试(可根据要求提供结果)显示了Achronix FPGA对于希望将LLM的强大功能用于其NLP应用程序的开发人员和企业的潜力。这些基准测试展示了 Speedster7t FPGA 如何超越市场,提供无与伦比的性能,同时降低运营成本和环境影响。

Llama2 70B LLM 运行在 Speedster7t FPGA 上

2023 年 7 月,Microsoft 和 Meta 推出了他们的开源 LLM,Llama2 开创了 AI 驱动语言处理的新先例。Llama2 采用多种配置设计,以满足各种计算需求,包括 700 亿、130 亿和 700 亿个参数,使其处于 LLM 创新的最前沿。Achronix和我们的合作伙伴 Myrtle.ai 对700亿参数的Llama2模型进行了深入的基准分析,展示了使用Speedster7t FPGA进行LLM加速的优势。

基准测试结果:Speedster7t FPGA 与业界领先的 GPU 对比

我们在 Speedster7t FPGA 上测试了 Llama2 70B 模型的推理性能,并将其与领先的 GPU 进行了比较。该基准测试是通过对输入、输出序列长度 (1,128) 和批处理大小 =1 进行建模来完成的。结果表明,Speedster7t AC7t1500在LLM处理中的有效性。

FPGA 成本基于由 Speedster7t FPGA 提供支持的 VectorPath 加速卡的标价。同样,我们在此分析中使用了可比GPU卡的标价。使用这些成本信息和每秒产生的输出令牌数量,我们计算出基于 FPGA 的解决方案的 $/token 提高了 200%。除了成本优势外,在比较 FPGA 和 GPU 卡的相对功耗时,我们观察到与基于 GPU 的解决方案相比,产生的 kWh/token 提高了 200%。这些优势表明 FPGA 如何成为一种经济且能效高效的 LLM 解决方案。

面向 LLM 的 FPGA:Speedster7t 的优势

Achronix Speedster7t系列FPGA旨在优化LLM操作,平衡LLM硬件的关键要求,包括:

高性能计算 – 具有高性能计算能力的尖端硬件对于管理 LLM 推理核心的复杂矩阵计算至关重要。

高带宽内存 – 高效的 LLM 推理依赖于高带宽内存,通过模型的网络参数快速馈送数据,而不会出现瓶颈。

扩展和适应能力 – 现代 LLM 推理需要能够随着模型规模的增长而扩展并灵活适应 LLM 架构的持续进步的硬件。

高能效处理 – 可持续的 LLM 推理需要硬件能够最大限度地提高计算输出,同时最大限度地降低能耗,从而降低运营成本和环境影响。

Speedster7t FPGA 提供以下功能,以应对实施现代 LLM 处理解决方案的挑战:

计算性能– 通过其灵活的机器学习处理器 (MLP) 模块支持复杂的 LLM 任务。

高 GDDR6 DRAM 带宽 – 确保以 4 Tbps 的内存带宽快速处理大型 LLM 数据集。

大量的 GDDR6 DRAM 容量 – 可容纳 Llama2 等扩展的 LLM,每个 FPGA 的容量为 32 GB。

用于 LLM 的集成 SRAM – 提供低延迟、高带宽的存储,具有 190 Mb 的 SRAM,非常适合存储激活和模型权重。

多种本机数字格式 – 适应 LLM 需求,支持块浮点 (BFP)、FP16、bfloat16 等。

高效的片上数据传输 – 2D NoC 超过 20 Tbps,简化片上数据流量。

扩展横向扩展带宽 – 支持多达32个112 Gbps SerDes 满足 LLM 需求,增强连接性。

自适应逻辑级可编程性 – 使用 690K 6 输入 LUT 为 LLM 的快速发展做好准备。

针对 LLM 推理优化的 FPGA

在快速变化的人工智能和自然语言处理领域,使用 FPGA 而不是 GPU 来加速 LLM 是一个相当新的想法。该基准测试展示了设计人员如何从使用Achronix的FPGA技术中受益。Achronix Speedster7t系列FPGA是这一变化的关键技术,在高性能、高带宽存储器、易于扩展和电源效率之间实现了出色的平衡。

基于详细的基准分析,将 Speedster7t FPGA 与领先的 GPU 在处理 Llama2 70B 模型方面的能力进行比较,结果表明 Speedster7t FPGA 能够提供高水平的性能,同时大大降低运营成本和环境影响,突出了它在未来 LLM 创建和使用中的重要作用。

如果希望进一步了解如何使用FPGA器件来加速您的LLM程序,以及 FPGA 加速 LLM 解决方案的未来发展机遇,请联系Achronix,获取详细的基准测试结果,并帮助您确定Achronix FPGA技术如何加速您的LLM设计。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

6月12日消息,日前,华为云官方宣布,在中国信通院组织的首轮代码大模型评估中,华为云盘古研发大模型获得当前最高等级4+级,成为国内首批通过该项评估的企业之一。

关键字: 华为云盘古 大模型

在这篇文章中,小编将为大家带来FPGA三段式状态机设计的相关内容。如果你对本文即将要讲解的内容存在一定兴趣,不妨继续往下阅读哦。

关键字: FPGA 状态机

本文中,小编将对FPGA不复位的代码实现予以介绍

关键字: FPGA 复位

本文中,小编将对OV7670 驱动设计予以详细介绍,如果你想对它的详细情况有所认识,或者想要增进对设计方案的了解程度,不妨请看以下内容哦。

关键字: OV7670 驱动设计 FPGA 开发板

一直以来,AD转换都是大家的关注焦点之一。因此针对大家的兴趣点所在,小编将为大家带来FPGA Verilog HDL实现AD转换的实例设计的相关介绍,详细内容请看下文。

关键字: FPGA AD Verilog

在这篇文章中,小编将对FPGA中的定点数处理方法的相关内容和情况加以介绍以帮助大家增进对它的了解程度,和小编一起来阅读以下内容吧。

关键字: FPGA 定点数

在这篇文章中,小编将为大家带来FPGA电源排序方案的相关报道。如果你对本文即将要讲解的内容存在一定兴趣,不妨继续往下阅读哦。

关键字: FPGA 电源 电源排序

以下内容中,小编将对FPGA跨时钟域处理技术方法进行着重介绍和阐述

关键字: FPGA 跨时钟域

在下述的内容中,小编将会基于FPGA开发板去点亮LED灯

关键字: FPGA LED 开发板

FPGA奇偶校验设计和代码实现将是下述内容的主要介绍内容,通过这篇文章,小编希望大家可以对FPGA奇偶校验的相关情况以及信息有所认识和了解,详细内容如下。

关键字: FPGA 奇偶校验
关闭