阿里GPU集群拯救算力危机

2022下半年，业界迎来了生成式 AI 的全面爆发，尤其是以 ChatGPT 为代表的大语言模型和以 Stable Diffusion 为代表的图片生成类模型，这两个场景火爆全球，并迅速演进到现在的多模态。

模型的参数规模和多模态能力不断提升，带来了对计算需求的快速增长，这给计算体系结构带来了功耗墙、内存墙和通讯墙等多重挑战。

其中，在大模型训练层面，用户在模型装载、模型并行、通信等环节面临各种现实问题；在大模型推理层面，用户在显存、带宽、量化上面临性能瓶颈。如何在云上高效地构建AI训练和AI推理基础设施、提高算力利用效率，阿里云给出了自己的答案，这就是阿里云DeepGPU是多卡并行计算的解决方案。阿里云作为国内规模最大的云厂商，具有最充沛的计算资源，向客户提供多种算力类型。在多卡并行计算中，阿里云DeepGPU技术可实现显卡间通信带宽的大幅提升，显著降低首token延迟，为大模型训练、推理提供更强的性能支持。

使用阿里云服务器，可轻松在云上部署训练自己的AI，而无需繁重的实体显卡负担和运维成本。更重要的是，在阿里云的DeepGPU加速工具加成下，少量花费即可完成复杂的训练和部署工作，同等价位能获得更好的产品体验，极高性价比。神行工具包（DeepGPU）是具有GPU计算服务增强能力的免费工具集，产品链接：https://help.aliyun.com/zh/egs/what-is-deepgpu/，其中，包括业务快速部署工具、GPU资源拆分工具、AI训练和推理计算优化工具以及针对热门AI模型的专门加速工具等。目前，所有神行工具包中的组件都可以免费搭配阿里云GPU服务器和ACK容器环境使用，方便用户高效使用云上GPU资源。

DeepGPU包含多个模块，其中最重要的两个模块包括大语言模型推理引擎DeepGPU-LLM以及AI通讯加速库DeepNCCL，接下来分别介绍一下。DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型推理引擎，在处理大语言模型任务中，该推理引擎可以提供高性能的大模型推理服务，旨在优化大语言模型在GPU云服务器上的推理过程，通过优化和并行计算等技术手段，为您提供免费的高性能、低延迟推理服务。首先来看DeepGPU-LLM。DeepGPU-LLM的主要功能包括：

• 支持多GPU并行（Tensor Parallel）功能。
• 支持Llama 1/2系列、ChatGLM 1/2/3系列、Baichuan 1/2系列、通义千问Qwen系列等主流模型。
• 支持fp16，以及int8/int4低精度推理（量化模式：目前支持权重量化和KV-Cache量化）。
• 支持多卡之间通信优化。
• 支持stream chat输出和chat直接对话功能。

经过调优后：4卡集合通信性能提升 58%，8卡集合通信性能提升 33%：

显存方面，K8_V8 显存占用减少50%，K8_V4 显存占用减少62.5%，K4_V4 显存占用减少75%。性能收益方面：

接下来再介绍下AI通讯加速库：DeepNCCL。DeepNCCL基于NCCL通信算子的调用，能够实现更高效的多GPU互联通信，无感地加速分布式训练或多卡推理等任务。DeepNCCL特性及优势：针对大模型多卡推理场景的卡间通讯优化效果显著；安装部署简单，无代码侵入；免费使用，进一步降低推理环节成本；

DeepNCCL帮助提升吞吐14%，首 token 时延下降15%。由于美国封锁等事件导致顶级性能显卡供应短缺，但在大模型训练之外，大模型微调和部署只要显存容量足够，也能满足大部分需求。在这种情况下A10、V100等多张“小卡”并行计算就有更高的性价比。阿里云多卡GPU服务器价格相比“大卡”要低很多，配合阿里云提供的神行工具包（DeepGPU），效果完全不输“大卡”。更重要的是，在多卡解决方案加持下，算力供给充足，随用随取，更有丰富的产品组合可供选择。