GPU 对比 · Ada Lovelace vs Hopper
NVIDIA RTX 4090 vs H100。
GeForce 显卡对阵 Hopper 数据中心 GPU。H100 SXM 的显存是 RTX 4090 的 3.3 倍(80 GB HBM3 对比 24 GB GDDR6X),带宽是 3.3 倍,密集 FP8 与 BF16 吞吐量约为 6 倍,GPU 之间还有 NVLink 互联。RTX 4090 的价格不到 H100 的六分之一:每块 GPU 每月 $269 对比 $1,779。
- 24 vs 80 GB显存
- 1.01 vs 3.35 TB/s显存带宽
- $269 vs $1,779每块 GPU 每月
RTX 4090 vs H100:该租哪一款。
适合 RTX 4090 的场景
- 您的模型能放进单卡 24 GB:按我们的选型规则,FP8 下约 18B 参数,4-bit 下约 34B。
- 您做图像生成、渲染,或在扩容前做原型验证,单卡 24 GB 已经够用。
- 价格优先:四块 RTX 4090(每月 $1,076)比一块 H100 还便宜。
适合 H100 的场景
- 您的模型每块 GPU 需要超过 24 GB:一块 H100 可容纳 FP8 下约 61B 参数,或 4-bit 下的 70B 模型(约 46 GB)。
- 您需要跨多块 GPU 训练或微调:NVLink 4 以每块 GPU 900 GB/s 的速度互联 H100,而 GeForce 显卡只能通过 PCIe 通信。
- 您需要 ECC 显存、用于科学计算的 FP64,或单卡最高吞吐量。
RTX 4090 vs H100:规格并列对比。
数据均引自 NVIDIA 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。
| 每块 GPU | NVIDIA RTX 4090 | NVIDIA H100 | H100 / RTX 4090 |
|---|---|---|---|
| 架构 | Ada Lovelace, TSMC 4N | Hopper, TSMC 4N | — |
| 外形规格 | PCIe Gen4 显卡 | SXM5 模组 | — |
| 显存 | 24 GB GDDR6X,384 位 | 80 GB HBM3,5,120 位 | 3.3× |
| 显存带宽 | 1,008 GB/s | 3.35 TB/s | 3.3× |
| GPU 间互联 | 无(PCIe Gen4) | NVLink 4,每块 GPU 900 GB/s | — |
| FP4 张量吞吐量(密集) | 不支持 | 不支持 | — |
| FP8 张量吞吐量(密集) | 330 TFLOPS | 1,979 TFLOPS | 6× |
| FP16 / BF16 张量吞吐量(密集) | 165 TFLOPS | 989 TFLOPS | 6× |
| FP64 | — | 34 / 67 TFLOPS | — |
| 最大功耗 | 450 W | 最高 700 W,可配置 | — |
| 每台服务器的 GPU 数量 | 1, 2, 4 | 1, 2, 4, 8 | — |
| 每块 GPU 配套资源 | 12 vCPU · 64 GB RAM · 1 TB | 20 vCPU · 200 GB RAM · 2 TB | — |
来源: NVIDIA GeForce RTX 4090 · Ada 白皮书 · NVIDIA H100. 完整规格表: RTX 4090 · H100
RTX 4090 vs H100:租用价格。
在 CryptGPU,RTX 4090 每块 GPU 的月租价格为 $269,H100 为 $1,779,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。
| CryptGPU | NVIDIA RTX 4090 | NVIDIA H100 | H100 / RTX 4090 |
|---|---|---|---|
| 每块 GPU 月租价格 | $269 | $1,779 | 6.6× |
| 等效每 GPU 小时价格 | $0.37 | $2.44 | — |
| 每 GB 显存月租价格 | $11.21 | $22.24 | 1.98× |
| 每 PFLOPS 密集 FP8 月租价格 | $815 | $899 | 1.1× |
| 最大服务器 | 4× · $1,076/月 | 8× · $14,232/月 | — |
| 市场中位价(每块 GPU) | $387 | $2,548 | — |
| 低于中位价 | −30% | −30% | — |
无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 RTX 4090 服务器 · 配置 H100 服务器
各款 GPU 能装下哪些模型。
按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。
| 模型 (总参数量) | RTX 4090 · FP8 | H100 · FP8 | RTX 4090 · 4 位 | H100 · 4 位 |
|---|---|---|---|---|
| Qwen3.5-9B | 1× | 1× | 1× | 1× |
| Gemma 4 31B | 2× | 1× | 1× | 1× |
| Llama 3.3 70B | 4× | 2× | 4× | 1× |
| gpt-oss-120b | — | 2× | 4× | 2× |
| DeepSeek-V4-Flash | — | 8× | — | 4× |
| Qwen3.5-397B-A17B | — | 8× | — | 4× |
| DeepSeek-R1 (671B) | — | — | — | 8× |
| Kimi K2.6 (1T) | — | — | — | — |
FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?
RTX 4090 vs H100 常见问题。
详细了解各款 GPU:NVIDIA RTX 4090 · NVIDIA H100。
RTX 4090 能替代 H100 吗?
对于能放进 24 GB 的模型以及图像生成,通常可以,而且价格只是零头。对于更大的模型、多 GPU 训练、ECC 显存或 FP64 计算,H100 才是合适的工具。
多少块 RTX 4090 的显存才能比得上一块 H100?
四块 RTX 4090(GeForce 服务器的最大配置)共 96 GB(可用约 88 GB),每月 $1,076;一块 H100 为 80 GB,每月 $1,779。四块显卡通过 PCIe 分担工作,比 NVLink 慢。
哪个的 LLM 推理更快?
按单卡算,H100 更快:显存带宽是 3.3 倍,而带宽决定了 token 生成速度的上限;密集 FP8 吞吐量约为 6 倍,可加快提示词处理。实际速度取决于模型、精度和推理引擎;我们不发布基准测试。
其他 GPU 对比。
租用 RTX 4090 或 H100。
独享服务器可配置 1 至 8 块 GPU,统一月付价格,支持加密货币支付;10 分钟内上线,无需 KYC。
