BTC
ETH
USDT
XMR
LTC
解决方案 · 微调
面向微调的 GPU 服务器。
在独享 GPU 上对开放权重模型进行 LoRA、QLoRA 或全参数微调，按月计费而非按小时计费。
- 1× H200最佳搭配
- 141 GB显存
- $2,279每月
- $959 起最低价选择
微调对 GPU 的要求。
- 1
基础模型所需的充足显存
LoRA 训练的是小型适配器矩阵，但仍需加载完整的基础模型：BF16 下每参数约 2 字节，4 位 QLoRA 下约为 0.5 字节。
- 2
长序列所需的余量
激活值会随序列长度和批量大小增长。请在权重之上预留余量，或使用梯度检查点。
- 3
迭代所需的时间
微调是一个迭代过程：数据清理、运行、评估、再次运行。按月租用的服务器在两次运行之间始终归您使用，数据和环境都保留在原处。
最适合微调的 GPU。
第一项是最佳选择；另外两项则在速度、显存或生态与价格之间做了取舍。
-
最佳配置
1× NVIDIA H200
141 GB HBM3e · 每块 GPU 4.8 TB/s
- 互联方式
- 单 GPU
- vCPU · RAM
- 24 · 256 GB
- NVMe
- 3.84 TB
$2,279/月
$3,259 -
备选
1× NVIDIA RTX PRO 6000
96 GB GDDR7 ECC · 每块 GPU 1.6 TB/s
- 互联方式
- 单 GPU
- vCPU · RAM
- 24 · 180 GB
- NVMe
- 1.92 TB
$959/月
$1,380 -
备选
1× NVIDIA H100
80 GB HBM3 · 每块 GPU 3.35 TB/s
- 互联方式
- 单 GPU
- vCPU · RAM
- 20 · 200 GB
- NVMe
- 2 TB
$1,779/月
$2,548
您的模型需要多大的服务器？
BF16 下的 LoRA 每参数约 3 字节，QLoRA 每参数约 0.75 字节，两者都已包含激活值和适配器的余量。
| 模型规模 | LoRA 微调（BF16） | QLoRA 微调 |
|---|---|---|
| 8B约 24 GB / 6 GB | 1× RTX 5090$329/月 | 1× RTX 5080$199/月 |
| 14B约 42 GB / 11 GB | 2× RTX 4090$538/月 | 1× RTX 5080$199/月 |
| 32B约 96 GB / 24 GB | 4× RTX 5090$1,316/月 | 1× RTX 5090$329/月 |
| 70B约 210 GB / 53 GB | 1× MI355X$1,409/月 | 2× RTX 5090$658/月 |
| 120B约 360 GB / 90 GB | 2× MI355X$2,818/月 | 4× RTX 5090$1,316/月 |
| 235B约 705 GB / 176 GB | 4× MI355X$5,636/月 | 1× MI355X$1,409/月 |
按照我们的经验法则（92% 显存可用），能容纳该模型的最便宜配置。尝试其他规格 · 热门开放模型的显存需求
微调软件及我们的建议。
- Hugging Face TRL + PEFTSFT、DPO 与 LoRA/QLoRA 适配器。
- Axolotl基于 PyTorch 的配置驱动式微调。
- Unsloth面向 NVIDIA GPU 的显存高效 LoRA 与 QLoRA 内核。
- bitsandbytesQLoRA 所使用的 4 位与 8 位量化。
小贴士
- 先用 QLoRA 验证数据和超参数，如果质量有要求，再转向 BF16 下的 LoRA。
- 在增加 GPU 之前先开启梯度检查点：这通常能省去增加显存的需要。
- 把数据集和适配器保存在本地 NVMe 上；每次运行结束后，将适配器推送到您自己的存储。
- 下单时，“微调工具包”选项可免费预装 Axolotl、TRL 和 PEFT。
小提示
QLoRA 让 70B 级模型的微调能在单块 96–141 GB 显存的 GPU 上完成。全参数微调要为每个参数保留优化器状态，所需显存多出 6 到 8 倍：具体数值见训练页面。
相关指南
- 用 LoRA 和 QLoRA 微调大模型在您自己的 GPU 服务器上用 LoRA 或 QLoRA 微调开放 LLM：根据所需显存确定配置规模，用 TRL 或 Unsloth 训练适配器，然后将其合并，或直接用 vLLM 部署。
- Docker 使用 GPU：NVIDIA 与 ROCm 容器容器可以让 CUDA、ROCm 和各种框架的版本都不必装在主机上。主机只需要 GPU 驱动、Docker，以及在使用 NVIDIA GPU 时所需的 NVIDIA Container Toolkit。
- 本地 NVMe、RAID 0 与数据迁移服务器中的 NVMe 驱动器是速度很快的本地存储，适合存放数据集、检查点和模型缓存。只需设置一次，并把任何不能丢失的数据额外保存一份。
微调相关问题。
其他工作负载：LLM 训练、推理与服务、图像与视频、3D 渲染与 VFX、研究与 HPC。
微调 70B 模型最便宜的方式是什么？
在单块显存足以容纳 4 位权重加激活值的 GPU 上使用 QLoRA：按我们的经验法则约需 53 GB，因此一块 RTX PRO 6000（96 GB）绰绰有余。
LoRA 还是 QLoRA？
QLoRA 将冻结的基础模型量化为 4 位，所需显存约为四分之一。BF16 下的 LoRA 更简单，质量也可能略胜一筹。许多团队先用 QLoRA 做原型验证，再用 LoRA 完成收尾。
两次运行之间，我可以把数据留在服务器上吗？
可以。在已付费的这个月内，服务器和它的 NVMe 磁盘都归您使用；续费即可继续保留。请在租期结束前完成备份。