2026年最适合 LLM 推理的 GPU：显存、带宽与价格

大模型推理用什么显卡最好？

最适合 LLM 推理的 GPU，是显存能容纳您的模型及其 KV 缓存的最便宜的那一款，并且在预算允许的范围内，显存带宽越高越好。显存容量决定能放下哪个模型、多长的上下文；显存带宽决定 token 的生成速度，因为每生成一个新 token，都要从显存中读取模型权重。

在我们出租的 GPU 中，这意味着：

• 4-bit 下约 30B 以内的模型：一块 RTX 4090 或 RTX 5090。
• FP8 下的 70B 模型，或 gpt-oss-120b：一块 RTX PRO 6000（96 GB）。
• 在 CUDA 上需要更快速度或更长上下文的 70B 级模型：H200（141 GB，4.8 TB/s）。
• 每美元显存最多（前提是您的模型能在 ROCm 上运行）：MI355X（288 GB，8 TB/s）。
• 在 CUDA 上运行最大的模型：B300（288 GB，8 TB/s，NVLink 5）。

我们不发布任何基准测试数据：下文的每个数字都来自厂商规格、我们的选型规则和我们目录中的价格，文中的速度是计算得出的理论上限，而不是实测值。

显存决定能放下哪个模型和多长的上下文

先看容量：如果权重和 KV 缓存放不进 GPU 显存，模型就无法运行，或者必须拆分到更多 GPU 上。我们的选型规则：

GB needed = billions of parameters × 2.4 in BF16, 1.2 in FP8, 0.65 in 4-bit
usable    = 92% of GPU memory

这些系数在 BF16 和 FP8 下为权重增加 20%，在 4-bit 下增加 30%，足以容纳中等上下文长度下的 KV 缓存。FP8 下的 70B 模型约需 84 GB：一块 H100（80 GB，约 74 GB 可用）不够用，而一块 RTX PRO 6000（96 GB）或一块 H200 就能放下。

这个余量只是起点。KV 缓存会随每段对话的长度以及同时服务的对话数量而增长，在长上下文或大量用户的情况下，它占用的显存可能与权重相当。混合专家模型必须容纳所有专家：要按总参数量来估算。计算公式和实例见您的模型需要多少 GPU 显存；选型助手会列出能容纳指定模型的所有服务器。

显存带宽决定 token 的生成速度

模型放得下之后，显存带宽决定每段对话的速度。模型一次只生成一个 token，而每生成一个 token，GPU 都要从显存中读取权重和该对话的 KV 缓存。NVIDIA 称这一解码阶段受限于显存带宽（memory-bound）：“数据（权重、键、值、激活值）从显存传输到 GPU 的速度主导着延迟”（NVIDIA）。Databricks 将实际达到的带宽计算为（模型大小 + KV 缓存大小）÷ 每个输出 token 的耗时（Databricks），由此可以得出单个对话的速度上限：

time per token    ≥ (weight bytes + KV cache bytes) ÷ memory bandwidth
tokens per second ≤ memory bandwidth ÷ bytes read per token

FP8 下的 70B 密集模型每个 token 约读取 70 GB 权重。这样一来，不计 KV 缓存，单个对话在 RTX PRO 6000（1.6 TB/s）上的上限约为每秒 23 个 token，在 H200（4.8 TB/s）上约为 69 个，在 B300、B200 或 MI355X（8 TB/s）上约为 114 个。实际的推理引擎达不到这个上限：Databricks 报告，在两块 H100 上、批大小为 1 时，实际带宽为峰值的 60%。

• 精度越低，上限越高。与 BF16 相比，FP8 让每个 token 读取的字节数减半，4-bit 再减半：用 NVIDIA 的话说，量化让您能“在相同的带宽下传输更多参数”。
• 混合专家模型只读取激活参数。gpt-oss-120b 的 117B 参数中，每个 token 只用到 5.1B（模型卡片），Qwen3.5-397B-A17B 则是 397B 中的 17B（模型卡片）：每个 token 只读取一小部分权重，但所有权重都必须驻留在显存中。
• 用户一多，瓶颈就转向算力。采用批处理时，“权重的显存开销被分摊”到各个请求上；Databricks 发现，在批大小较大时，“系统受限于算力”，每个回答的首个 token 通常也是如此。这时，FP8 和 FP4 吞吐量就显得很重要。

因此，显存和带宽并不是二选一：先满足容量，再在该容量下选择您负担得起的最高带宽。

数值格式、GPU 互联与软件

FP8 与 FP4 支持

我们出租的每款 GPU 都在硬件层面支持 FP8，从 Ada 架构的显卡（L40S、RTX 4090）到 Hopper、Blackwell 和 MI355X。FP4 则较新：NVIDIA 的 NVFP4 格式是“随 NVIDIA Blackwell GPU 架构一同推出的”（NVIDIA），MI355X 则增加了 MXFP8、MXFP6 和 MXFP4（AMD）。Hopper 和 Ada 没有 FP4 Tensor Core，但 4-bit 权重在它们上面依然能节省显存和带宽：vLLM 的 Marlin 内核可以在 Ampere、Ada 和 Hopper 上运行 4-bit 和 FP8 检查点（vLLM），OpenAI 也表示，采用 MXFP4 专家权重的 gpt-oss-120b 可以在单块 80 GB GPU（例如 H100）上运行（模型卡片）。原生 FP4 运算在算力成为瓶颈的场景中帮助最大：大批量和长提示词。

NVLink、Infinity Fabric 还是 PCIe

当一个模型跨越多块 GPU 时，张量并行会把每一层拆分到这些 GPU 上，GPU 之间在每一步都要交换数据。NVLink 5 为每块 B300 或 B200 提供 1.8 TB/s 的互联带宽，NVLink 4 为每块 H200 或 H100 提供 900 GB/s，Infinity Fabric 为每块 MI355X 提供 1.07 TB/s。RTX PRO 6000、L40S 和 GeForce 显卡使用 PCIe：NVIDIA 给出的数据是，H100 上的 PCIe Gen5 为 128 GB/s（NVIDIA），L40S 上的 Gen4 x16 双向为 64 GB/s（NVIDIA）。在没有 NVLink 的情况下，vLLM 建议使用流水线并行，“以获得更高的吞吐量和更低的通信开销”（vLLM）。Databricks 还指出，拆分在延迟方面的收益是递减的，因此能放进单块 GPU 的模型最好就用一块 GPU 提供服务，需要更高吞吐量时，再在每块 GPU 上各运行一个副本。

CUDA 还是 ROCm

NVIDIA GPU 可以直接运行现有的 CUDA 生态，包括 NVIDIA 专为自家 GPU 打造的推理引擎 TensorRT-LLM（GitHub）。MI355X 运行的是 ROCm：vLLM 从 ROCm 7.0 起支持包括它在内的 MI350 系列（vLLM）。不过，支持情况仍取决于模型及其内核：只有在某个模型的 ROCm 支持得到确认之后，我们的模型页面才会提供在 MI355X 上用 vLLM 或 SGLang 运行该模型的选项，目前包括 gpt-oss-20b、gpt-oss-120b 和 DeepSeek-R1-0528。相关取舍见我们的 MI355X 文章。

LLM 推理 GPU 对比：显存、带宽与价格

下表列出我们出租的每款 GPU 与推理相关的关键数据。价格为每块 GPU 每月的价格，所有规格的服务器均相同。

数据为厂商公布的单 GPU 规格，FP8 为不含稀疏的数值。*NVIDIA 未说明其 RTX PRO 6000 服务器版的数据是否使用了稀疏计算。

• 每美元显存：每 GB 显存的月费，MI355X 为 $4.89，RTX PRO 6000 为 $9.99，RTX 5090 为 $10.28，H200 为 $16.16。
• 每美元带宽：每 $100 月租可获得的带宽，MI355X 约为 568 GB/s，RTX 5090 约为 545 GB/s，而 H200 为 211 GB/s，H100 为 188 GB/s。
• H200 还是 H100：FP8 吞吐量相同，但 H200 每月多花 $500，就能多出 61 GB 显存和 43% 的带宽（H100 vs H200）。
• RTX PRO 6000 还是 H100：RTX PRO 6000 显存更大，价格为 $959，H100 为 $1,779；但它的带宽只有 1.6 TB/s，H100 则为 3.35 TB/s（RTX PRO 6000 vs H100）。
• L40S：每美元带宽最低，每 $100 约 110 GB/s。RTX 4090 的带宽更高，价格为 $269，L40S 则为 $789，不过 RTX 4090 的显存只有它的一半。

如何选择：各规模模型的最便宜方案

下表按我们的选型规则，列出能容纳各类模型的最便宜服务器，每一类都按其规模上限计算。当最便宜的是 MI355X 时，括号中会附上最便宜的 NVIDIA 服务器。

• 14B 以内：一块 GeForce 显卡即可。RTX 5090 比 RTX 4090 每月贵 $60，带宽是后者的 1.78 倍，显存为 32 GB 而不是 24 GB（RTX 5090 vs RTX 4090）。
• 32B 以内：4-bit 下一块 RTX 4090 即可，FP8 下则需要两块并通过 PCIe 互联；4-bit 下用一块 RTX 5090，能为 KV 缓存留出更多空间。
• 70B 密集模型：FP8 下，一块 RTX PRO 6000 是最便宜的单 GPU 方案；4-bit 下两块 RTX 5090 更便宜，但需要拆分模型。一块 H200 同样能放下 FP8 权重，还能多出 45 GB 用于上下文和用户。
• 120B 级 MoE：MXFP4 格式的 gpt-oss-120b 用一块 RTX PRO 6000 就能放下，每个 token 只读取 5.1B 激活参数。在 FP8 下，120B 的 MoE 模型如果能在 ROCm 上运行，需要一块 MI355X，否则需要两块 RTX PRO 6000。
• 400B 及以上：这正是单卡 288 GB 显存的用武之地：一块 MI355X 能以 4-bit 容纳 397B 模型，四块能以 FP8 容纳 DeepSeek-R1-0528。若用 NVIDIA，则需要四到八块通过 PCIe 互联的 RTX PRO 6000，FP8 下最大的模型则需要配备 NVLink 的 B300 或 B200 服务器。对于尚未确认支持 ROCm 的模型，请参考表中的 NVIDIA 数据（另见 B300 vs B200 vs H200 vs MI355X）。

表中的 4-bit 两栏假定存在 4-bit 检查点（官方或第三方均可）；请用您自己的提示词检验其质量。各模型的原生格式不尽相同：gpt-oss-120b 的专家权重为 MXFP4，Kimi K2.6 为 INT4（模型卡片），DeepSeek-R1-0528（模型卡片）和 Mistral Small 4（模型卡片）为 FP8，Qwen3.5-397B-A17B 为 BF16。我们的模型页面按各模型的官方检查点再加 20% 来估算，因此结果可能有所不同：Kimi K2.6 的检查点为 595 GB，估算后约为 714 GB，最便宜的 NVIDIA 方案则变为 4× B300，$16,076。

最便宜的方案没有告诉您的事

• 混合专家模型需要为每个专家分配显存，但逐个 token 计算时只用到被激活的专家。
• 长上下文和大量用户所需的 KV 缓存可能超出我们 20–30% 的余量：请按您的上下文长度和并发量来计算，或者选择更大一档的配置。vLLM 可以用 FP8 存储缓存（--kv-cache-dtype fp8），大小只有 BF16 的一半（vLLM）。
• 最便宜的方案并不是最快的。对于 FP8 下的 70B 模型，一块 H200 的价格是 RTX PRO 6000 的 2.4 倍（$2,279 对比 $959），带宽则是 3.0 倍。如果您的用户需要等待很长的回答，这份速度可能物有所值。
• PCIe 是这些互联方式中最慢的。对于 4-bit 下的 397B 模型，一块 B300 的价格为 $4,019，四块 RTX PRO 6000 为 $3,836，而 B300 无需拆分模型。
• MI355X 的价格参照的是一个指示性的市场参考价，因为没有任何服务商公布它的按需价格；而且这款 GPU 需要您的模型和推理引擎支持 ROCm。在扩大规模之前，请先租一块测试一个月。

CryptGPU 适合什么场景

CryptGPU 按月出租独享 GPU 服务器：1、2、4 或 8 块 GPU（GeForce 显卡为 1、2 或 4 块），提供 SSH root 权限，您的显卡上没有其他租户。每块 GPU 的价格比 40 家 GPU 云的公开按需价格中位数低约 30%，最低每月 $199（RTX 5080）。您可以用比特币、以太坊、USDT（泰达币）、门罗币或莱特币付款，无需 KYC；付款完成链上确认后，服务器会在 10 分钟内上线。

下单时，我们可以免费为您预装 vLLM、SGLang 或搭配 Open WebUI 的 Ollama，以及我们目录中的一个模型：开放模型页面列出了每个模型所需的服务器，推理服务文档介绍了具体配置。

包月服务器适合整月运行的推理接口。如果您每周只需测试几个小时（这时按小时计费的云更便宜），需要通过 InfiniBand 连接的多服务器集群（我们不提供），或者需要托管的推理 API，它就不是合适的选择。由于我们不发布基准测试数据，在两款 GPU 之间做选择的可靠方法，是租一块用一个月，用您自己的模型实测每秒 token 数。

关于 LLM 推理 GPU 的常见问题

对 LLM 推理来说，显存和显存带宽哪个更重要？

显存优先：放不下的模型无法运行，或者必须拆分。在能放下模型的 GPU 中，带宽决定每段对话的流式输出速度。

运行 70B 模型最便宜的 GPU 服务器是哪款？

按我们的选型规则，70B 模型在 FP8 下约需 84 GB（1× RTX PRO 6000，$959/月），在 4-bit 下约需 46 GB（2× RTX 5090，$658/月）。H200 更贵，但带宽是 RTX PRO 6000 的三倍。

RTX 5090 适合 LLM 推理吗？

对于 4-bit 下约 45B 以内的模型，适合：32 GB 显存、1.8 TB/s 带宽，每月 $329。GeForce 服务器最多配备四块显卡，通过 PCIe 而不是 NVLink 互联。

运行 LLM 需要 NVLink 吗？

只有在用张量并行把一个模型拆分到多块 GPU 上时才需要。能放进单块 GPU 的模型，或者在不同 GPU 上分别运行的独立副本，都用不到它。

AMD MI355X 适合 LLM 推理吗？

从纸面参数看，它是我们产品线中每美元显存最多的 GPU：288 GB 显存、8 TB/s 带宽，每月 $1,409，每 GB $4.89。实际效果则取决于您的模型和推理引擎对 ROCm 的支持：参见 MI355X vs H200。