H100 vs H200:该租哪一款。
适合 H100 的场景
- 您的模型、KV 缓存和批处理数据能放进单块 GPU 的 80 GB 显存(按我们的选型规则,FP8 精度下约为 60B 参数以内)。
- 您的任务受算力限制,例如训练或微调中等规模模型:两款 GPU 的张量吞吐量相同。
- 您想要 Hopper GPU 中最低的月租价格:$1,779 对比 $2,279。
适合 H200 的场景
- 您需要部署 70B 级模型:FP8 精度下约需 84 GB 显存,单块 H200 即可容纳,但 H100 需要两块。
- 您需要处理长上下文或更大批次:单块 GPU 多出的 61 GB 显存可用于 KV 缓存。
- 您的工作负载中 token 生成受显存带宽限制:多出 43% 的带宽能让同样的核心更快地获取数据。
H100 vs H200:规格并列对比。
数据均引自 NVIDIA 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。
| 每块 GPU | NVIDIA H100 | NVIDIA H200 | H200 / H100 |
|---|---|---|---|
| 架构 | Hopper, TSMC 4N | Hopper | — |
| 外形规格 | SXM5 模组 | SXM 模组 | — |
| 显存 | 80 GB HBM3,5,120 位 | 141 GB HBM3e | 1.76× |
| 显存带宽 | 3.35 TB/s | 4.8 TB/s | 1.43× |
| GPU 间互联 | NVLink 4,每块 GPU 900 GB/s | NVLink 4,每块 GPU 900 GB/s | 相同 |
| FP4 张量吞吐量(密集) | 不支持 | 不支持 | — |
| FP8 张量吞吐量(密集) | 1,979 TFLOPS | 1,979 TFLOPS | 相同 |
| FP16 / BF16 张量吞吐量(密集) | 989 TFLOPS | 989 TFLOPS | 相同 |
| FP64 | 34 / 67 TFLOPS | 34 / 67 TFLOPS | 相同 |
| 最大功耗 | 最高 700 W,可配置 | 最高 700 W,可配置 | — |
| 每台服务器的 GPU 数量 | 1, 2, 4, 8 | 1, 2, 4, 8 | — |
| 每块 GPU 配套资源 | 20 vCPU · 200 GB RAM · 2 TB | 24 vCPU · 256 GB RAM · 3.84 TB | — |
来源: NVIDIA H100 · NVIDIA H200. 完整规格表: H100 · H200
H100 vs H200:租用价格。
在 CryptGPU,H100 每块 GPU 的月租价格为 $1,779,H200 为 $2,279,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。
| CryptGPU | NVIDIA H100 | NVIDIA H200 | H200 / H100 |
|---|---|---|---|
| 每块 GPU 月租价格 | $1,779 | $2,279 | 1.28× |
| 等效每 GPU 小时价格 | $2.44 | $3.12 | — |
| 每 GB 显存月租价格 | $22.24 | $16.16 | 0.73× |
| 每 PFLOPS 密集 FP8 月租价格 | $899 | $1,152 | 1.28× |
| 最大服务器 | 8× · $14,232/月 | 8× · $18,232/月 | — |
| 市场中位价(每块 GPU) | $2,548 | $3,259 | — |
| 低于中位价 | −30% | −30% | — |
无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 H100 服务器 · 配置 H200 服务器
各款 GPU 能装下哪些模型。
按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。
| 模型 (总参数量) | H100 · FP8 | H200 · FP8 | H100 · 4 位 | H200 · 4 位 |
|---|---|---|---|---|
| Qwen3.5-9B | 1× | 1× | 1× | 1× |
| Gemma 4 31B | 1× | 1× | 1× | 1× |
| Llama 3.3 70B | 2× | 1× | 1× | 1× |
| gpt-oss-120b | 2× | 2× | 2× | 1× |
| DeepSeek-V4-Flash | 8× | 4× | 4× | 2× |
| Qwen3.5-397B-A17B | 8× | 4× | 4× | 2× |
| DeepSeek-R1 (671B) | — | 8× | 8× | 4× |
| Kimi K2.6 (1T) | — | — | — | 8× |
FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?
H100 vs H200 常见问题。
详细了解各款 GPU:NVIDIA H100 · NVIDIA H200。
H200 比 H100 更快吗?
两者的算力核心同为 Hopper 芯片,因此受算力限制的任务速度相近。而在显存带宽制约任务的场景下,例如 LLM token 生成,H200 凭借 4.8 TB/s(对比 3.35 TB/s)的带宽更快,并能用更少的 GPU 容纳更大的模型和批次。
租用 H200 要贵多少?
按每块 GPU 每月计算,$2,279 对比 $1,779。按每 GB 显存计算 H200 更便宜:每月 $16.16 对比 $22.24。
70B 模型能在单块 H100 上运行吗?
FP8 精度下不行:按我们的经验法则约需 84 GB,超过了 80 GB。4-bit 量化下约需 46 GB,可以放进单块 H100。FP8 精度下则可以放进单块 H200,或两块 H100。
H100 和 H200 使用的软件相同吗?
相同。两者都是 Hopper 架构 GPU,配备 FP8 Transformer Engine 和 NVLink 4,并支持相同的 CUDA、cuDNN、TensorRT-LLM、vLLM 和 SGLang。
