如何在配备 4 GB 显存的笔记本电脑上微调 8B 神经网络

任何尝试过自行微调 LLM 的人都熟悉这个流程：配置环境、与 CUDA 版本斗争、调整 batch size、遇到无尽的 CUDA out of memory 错误，最后为了在小数据集上运行几个 epoch 而租用云端的 H100。渐渐地，配置脚本和处理服务器的时间开始超过数据准备和结果分析的时间。

最近我发现了 Alpamis Makazhan 的 Soup 仓库。作者设定了一个雄心勃勃的目标：将整个调优流程简化为一个控制台命令和一个简单的 YAML 文件。这个项目最有趣的地方在于，它能够在仅有 4 GB 显存的移动 RTX 3050 上微调 80 亿参数的 Llama 3.1 模型。

听起来像是营销噱头，但背后有一些有趣的工程技术，还有一份带有基准测试的开放预印本。让我们深入了解它的工作原理和实际表现。

Soup 能做什么

本质上， Soup 是一个围绕流行 ML 堆栈（PyTorch、Transformers、PEFT、TRL）的 CLI 封装器。其核心思路是接管那些繁琐的工作：检测可用硬件、量化、自动调整 batch size 以及格式化数据集。

该工具覆盖了完整的模型工作流程：

• 为不同任务（聊天、代码、工具调用、分类）初始化模板；
• 自动检测数据格式（Alpaca、ShareGPT、ChatML），支持 JSONL、Parquet 或 CSV 文件；
• 使用 SFT、DPO、ORPO、SimPO 或 KTO 方法运行训练；
• 测试结果以检查回归，并将 LoRA 适配器合并到模型权重中；
• 将模型导出为 GGUF 格式，以便在 Ollama 或 llama.cpp 中运行。

对于基本使用，甚至不需要 PyTorch：轻量级 CLI 版本在几秒内安装完成，可帮助检查数据。如果需要训练本身，则会拉取完整的堆栈。

# Установка пакета с зависимостями для обучения
pip install "soup-cli[train]"

# Создание конфига через мастер или из готового шаблона
soup init --template chat

# Запуск процесса
soup train

8B 模型如何装入 4 GB 显存

通常，一个 80 亿参数模型即使采用 4 位量化（NF4）也需要约 5-6 GB 显存才能加载到内存中。如果再加上上下文、激活值和 LoRA 适配器，4 GB 显存必然会导致内存溢出错误。

Soup 的作者采用了一种分层流式处理技术。

基础模型不会完全保存在显存中。它存储在计算机的 RAM 中（甚至直接从快速 NVMe 磁盘读取），逐层输送到 GPU。只有可训练的 LoRA 适配器和当前解码器层被永久保留在显存中。

在配备 4 GB 显存的笔记本电脑 RTX 3050 上测试时，采用 NF4 量化的 Llama-3.1-8B-Instruct 模型峰值显存消耗仅为 3.32 GB，速度约为每秒 119 个 token。计算结果与常规驻留训练完全一致。

只需在配置中添加一行即可启用分层流式处理 soup.yaml：

base: meta-llama/Llama-3.1-8B-Instruct
task: sft

data:
  train: ./data/train.jsonl
  format: alpaca

training:
  stream_layers: true      # стриминг слоев из RAM
  quantization: 4bit       # NF4 квантование
  batch_size: 4
  stream_source: auto      # RAM или NVMe
  lora:
    r: 64
    alpha: 16

output: ./output

在 0.72+ 版本中，分层流式处理不仅扩展到经典 SFT，还扩展到 DPO 和 ORPO 等对齐方法。使用 DPO 时需要基础模型进行比较，这通常会使显存使用量翻倍。在这里，工具使用相同的流式层并禁用适配器，而不会在内存中创建重复副本。

质量检查和防止隐藏错误

一个常见的微调问题：模型似乎学会了回答你的特定问题，但完全忘记了如何调用函数或开始输出格式错误的 JSON。

Soup 有一个内置验证工具 soup ship。这是一个内部质量门控，包含一组测试（算术、JSON 模式遵循、工具调用、安全性），用于运行原始模型和微调模型。

soup ship --base ./base --adapter ./my-lora --task-eval my_task.jsonl

该命令返回一个明确的判定：SHIP 或 DON'T SHIP。例如，如果适配器改进了目标任务的响应但破坏了工具调用语法，工具将以非零代码退出并显示回归发生的位置。

导出和使用

一旦适配器训练完成并通过验证，你就可以立即将其打包为所需格式：

# Проверить ответы в интерактивном режиме
soup chat --model ./output

# Влить LoRA в базовые веса
soup merge --adapter ./output

# Сконвертировать в GGUF для Ollama
soup export --model ./output --format gguf --quant q4_k_m

# Или поднять локальный API-сервер с OpenAI-совместимыми ручками
soup serve --model ./output

如果你需要在远程机器上运行训练或在没有手动安装驱动程序的隔离环境中运行，项目在 GitHub Packages（GHCR）上有一个现成的 Docker 镜像。

谁会发现这个项目有用

Soup 面向需要快速实验周期而不深入研究分布式训练细节的开发者。

如果你符合以下条件，这个项目绝对值得一试：

1. 想要在家用 PC 或笔记本电脑上实验小模型（Qwen 2.5、Llama 3.1、Gemma）。
2. 正在寻找一个现成的流水线：从原始数据集到用于本地使用的 GGUF 文件。
3. 厌倦了为典型的 SFT 任务编写基于 HuggingFace TRL 的相同脚本。

局限性：严格要求 Python 3.10–3.12（PyTorch 对 3.13 的构建目前不稳定）。不建议使用 Soup 从头开始在大规模集群上进行完整预训练——请直接使用 Megatron 或 DeepSpeed。但对于在消费级 GPU 上进行应用微调和原型设计，这是一个方便且深思熟虑的工具。