BTC
ETH
USDT
XMR
LTC
解决方案 · LLM 训练
面向 LLM 训练的 GPU 服务器。
在 8-GPU 节点上预训练小型模型、继续预训练或进行全参数微调，只需一个固定月费。
- 8× B300最佳搭配
- 2,304 GB显存
- $32,152每月
- $11,272 起最低价选择
LLM 训练对 GPU 的要求。
- 1
整个训练状态所需的显存
配合 Adam 优化器的混合精度训练要保存权重、梯度和优化器状态：激活值之外，每参数约需 16 字节。这就是为什么训练所需的显存是推理的 6 到 8 倍。
- 2
GPU 之间的带宽
数据并行和分片训练（FSDP、ZeRO）在每一步都要交换梯度。在 B300 和 B200 上，NVLink 5 为每块 GPU 提供 1.8 TB/s 的带宽；八块 MI355X 之间则由 Infinity Fabric 连接。
- 3
高速本地存储
大型模型的检查点体积可达数百 GB。每台服务器都配备会随 GPU 数量扩展的本地 NVMe 存储。
最适合 LLM 训练的 GPU。
第一项是最佳选择；另外两项则在速度、显存或生态与价格之间做了取舍。
-
最佳配置
8× NVIDIA B300
2,304 GB HBM3e · 每块 GPU 8 TB/s
- 互联方式
- NVLink 5 · 1.8 TB/s
- vCPU · RAM
- 256 · 3,072 GB
- NVMe
- 30.72 TB
$32,152/月
$45,960 -
备选
8× NVIDIA B200
1,440 GB HBM3e · 每块 GPU 8 TB/s
- 互联方式
- NVLink 5 · 1.8 TB/s
- vCPU · RAM
- 224 · 2,304 GB
- NVMe
- 30.72 TB
$27,512/月
$39,360 -
备选
8× AMD MI355X
2,304 GB HBM3E · 每块 GPU 8 TB/s
- 互联方式
- Infinity Fabric · 1.07 TB/s
- vCPU · RAM
- 256 · 3,072 GB
- NVMe
- 30.72 TB
$11,272/月
$16,176
您的模型需要多大的服务器？
完整训练状态每参数约需 18 字节（权重、梯度、Adam 状态，外加激活值的余量）。用 FSDP 或 ZeRO-3 分片可以把它分摊到服务器的各块 GPU 上；激活值检查点技术可以降低这部分余量。
| 模型规模 | 全参数训练（混合精度，Adam） |
|---|---|
| 1B约 18 GB | 1× RTX 4090$269/月 |
| 3B约 54 GB | 2× RTX 5090$658/月 |
| 7B约 126 GB | 1× MI355X$1,409/月 |
| 13B约 234 GB | 1× MI355X$1,409/月 |
| 34B约 612 GB | 4× MI355X$5,636/月 |
| 70B约 1,260 GB | 8× MI355X$11,272/月 |
按照我们的经验法则（92% 显存可用），能容纳该模型的最便宜配置。尝试其他规格 · 热门开放模型的显存需求
LLM 训练软件及我们的建议。
- PyTorch FSDPPyTorch 内置的分片数据并行。
- DeepSpeedZeRO 1–3 阶段、显存卸载与流水线并行。
- Megatron-LM / NeMo面向 NVIDIA GPU 上大型 Transformer 的张量并行与流水线并行。
- PyTorch for ROCm + RCCL同一套 PyTorch 代码，运行在 AMD Instinct MI355X 上。
小贴士
- 在长时间运行之前，用 nccl-tests（AMD 上为 rccl-tests）测量互联的实际性能。
- 把检查点写入本地 NVMe，然后按计划定期复制到服务器之外。
- 使用 BF16 或 FP8 混合精度；将主权重保留在 FP32。
- 在每月租期结束前备份好所有数据：如果不续费，磁盘将被清空。
- 下单时，“多 GPU 训练”选项可免费预装带 DeepSpeed 和 FSDP 的 PyTorch 以及互联测试。
小提示
一台 8-GPU 服务器的规模，适合预训练参数量在几十亿以内的模型、继续预训练以及全参数微调。用一万亿个 token 预训练一个 70B 模型，大约需要 10²³ 次浮点运算：单台服务器要跑上数月到数年。每台服务器最多配备 8 块 GPU；需要用高速网络连接多台服务器的任务，目前不在我们的服务范围内。
相关指南
- 单台服务器上的多 GPU：拓扑、NCCL 与 torchrun服务器内 GPU 的连接方式决定了任务的扩展效果。在长时间运行任务之前，先检查拓扑、用 torchrun 启动，并测量互联性能。
- 本地 NVMe、RAID 0 与数据迁移服务器中的 NVMe 驱动器是速度很快的本地存储，适合存放数据集、检查点和模型缓存。只需设置一次，并把任何不能丢失的数据额外保存一份。
- Docker 使用 GPU：NVIDIA 与 ROCm 容器容器可以让 CUDA、ROCm 和各种框架的版本都不必装在主机上。主机只需要 GPU 驱动、Docker，以及在使用 NVIDIA GPU 时所需的 NVIDIA Container Toolkit。
- B300 vs B200 vs H200 vs MI355X：该租哪款旗舰 GPUB300、B200、H200 与 MI355X 经核实的规格参数：显存、带宽、互联、FP8、FP4 与 FP64，附每 GB 显存的价格，以及各自适合的工作负载。
LLM 训练相关问题。
其他工作负载：微调、推理与服务、图像与视频、3D 渲染与 VFX、研究与 HPC。
我能在一台服务器上从零开始训练一个 70B 模型吗？
在合理的时间内做不到。这个规模的预训练大约需要 10²³ 次运算，在一台 8-GPU 服务器上要跑数月到数年。单台服务器更适合用于继续预训练、在最大规格的 GPU 上对 70B 左右的模型做全参数微调，以及预训练小型模型。
哪款 GPU 训练速度最快？
B300 和 B200 拥有最高的张量吞吐量，并配备每块 GPU 1.8 TB/s 的 NVLink 5。如果您的代码运行在 ROCm 上，MI355X 能以低得多的价格提供同样的 288 GB 显存。
我可以把多台服务器连接在一起吗？
每台服务器内部最多可连接 8 块 GPU。目前我们的服务不包含多台服务器之间的高速互联网络。