PEFT如何帮助我们在消费级GPU上微调GR00T基础

时间：2025-04-08 19:44:44

关键字： GR00T GPU LoRA 机器人

手机看文章

扫描二维码
随时随地手机看文章

[导读]GR00T是英伟达最新的人类机器人基础模型。自然，机器人专家对将这种模型应用于各种机器人应用有着极大的兴趣。微调是一个我们教模型新技能的过程，例如，用新的机器人硬件操纵新的物体。然而，微调基础模型对于我们中的许多GPU贫乏的人来说在计算上是令人望而却步的——直到现在。在这里，我们将探讨如何使用LoRa在个人计算机上实现参数有效微调(PEFT)。

GR00T是英伟达最新的人类机器人基础模型。自然，机器人专家对将这种模型应用于各种机器人应用有着极大的兴趣。微调是一个我们教模型新技能的过程，例如，用新的机器人硬件操纵新的物体。然而，微调基础模型对于我们中的许多GPU贫乏的人来说在计算上是令人望而却步的——直到现在。在这里，我们将探讨如何使用LoRa在个人计算机上实现参数有效微调(PEFT)。

背景

训练一个神经网络通常需要比推理多几倍的内存。这是因为在训练过程中，除了模型权重之外，现代优化器还需要存储中间激活、梯度值和其他状态，以帮助优化器适应复杂的训练动态。

传统的微调和任何训练过程一样昂贵。它仍然使用相同数量的内存。如果你没有获得h100，你就不走运了。然而，像LoRA这样的PEFT技术允许我们对模型的一小部分进行微调。

LoRA

在我看来，低等级适配器(LoRA)是最优雅的PEFT实现。它不是完整地训练模型，而是将一组非常小的权重覆盖到模型的原始权重(称为LoRA适配器)上。模型的原始权重是固定的，只有LoRA适配器是可训练的，与原始网络相比，它们的大小通常在0.5%到5%之间。使用更小的可训练参数集和更少的优化器状态来存储，它使得使用PEFT进行微调在计算上更加友好。一旦训练完成，这些小的权重集就会被加回到原来的权重中。

输出=输入* W

W：原权矩阵;[input_dim, output_dim]

ΔW: delta权重;与W相同的尺寸

W_ft：微调权重矩阵= W + ΔW

由于微调只对原始模型权重进行很小的更改，因此与原始权重矩阵相比，delta权重ΔW应该只包含一小部分信息。因此，我们可以将ΔW表示为两个瘦矩阵的乘积，而不是将其作为与原始权重矩阵相同的大小：

ΔW_lora = B x A ~= ΔW

[input_dim, r]

A: [r, output_dim]

ΔW_lora是ΔW的近似值，r表示我们想要使用的排名数。把r想象成你想用在音乐文件上的比特率，不同的是，这里我们处理的是矩阵重构错误而不是音频丢失。

ΔW的最大rank是max(input_dim, output_dim)。但是，由于ΔW包含的信息并不丰富，我们可以使用很小的r，例如16到128，而仍然可以得到很好的结果。这也是LoRA名称Low-Rank Adaption背后的根源。