GPU 对比 · Ada Lovelace vs Ada Lovelace
NVIDIA L40S vs RTX 4090。
两款 Ada Lovelace GPU。L40S 是数据中心显卡:48 GB 带 ECC 的 GDDR6 显存,密集 FP8 吞吐量约为 RTX 4090 的 2.2 倍,服务器最多 8 块 GPU。GeForce RTX 4090 为 24 GB,显存带宽略高(1.01 对比 0.86 TB/s),价格约为 L40S 的三分之一:每块 GPU 每月 $269 对比 $789。
- 48 vs 24 GB显存
- 0.86 vs 1.01 TB/s显存带宽
- $789 vs $269每块 GPU 每月
L40S vs RTX 4090:该租哪一款。
适合 L40S 的场景
- 您的模型每块 GPU 需要超过 24 GB:按我们的选型规则,48 GB 可容纳 FP8 下约 36B 参数,或 4-bit 下约 67B。
- 您需要 ECC 显存或 8 卡服务器:GeForce 服务器最多 4 块显卡。
- 您需要大规模 FP8 推理服务:密集 FP8 Tensor 吞吐量 733 TFLOPS,RTX 4090 为 330 TFLOPS。
适合 RTX 4090 的场景
- 您的模型能放进 24 GB:单卡 FP8 下约 18B 参数,4-bit 下约 34B。
- 您想以更低价格获得同样的 48 GB:两块 RTX 4090 每月 $538,一块 L40S 每月 $789,只是显存分布在两张卡上。
- 您的工作负载受显存带宽而非 Tensor 吞吐量限制,例如在能放进显存的模型上为单个用户生成 token。
L40S vs RTX 4090:规格并列对比。
数据均引自 NVIDIA 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。
| 每块 GPU | NVIDIA L40S | NVIDIA RTX 4090 | RTX 4090 / L40S |
|---|---|---|---|
| 架构 | Ada Lovelace | Ada Lovelace, TSMC 4N | — |
| 外形规格 | 双槽 PCIe 卡,被动散热 | PCIe Gen4 显卡 | — |
| 显存 | 48 GB 带 ECC 的 GDDR6 | 24 GB GDDR6X,384 位 | 0.5× |
| 显存带宽 | 864 GB/s | 1,008 GB/s | 1.17× |
| GPU 间互联 | 无(PCIe Gen4 x16) | 无(PCIe Gen4) | — |
| FP4 张量吞吐量(密集) | 不支持 | 不支持 | — |
| FP8 张量吞吐量(密集) | 733 TFLOPS | 330 TFLOPS | 0.45× |
| FP16 / BF16 张量吞吐量(密集) | 362 TFLOPS | 165 TFLOPS | 0.46× |
| FP64 | — | — | — |
| 最大功耗 | 350 W | 450 W | — |
| 每台服务器的 GPU 数量 | 1, 2, 4, 8 | 1, 2, 4 | — |
| 每块 GPU 配套资源 | 12 vCPU · 96 GB RAM · 1 TB | 12 vCPU · 64 GB RAM · 1 TB | — |
来源: NVIDIA L40S · NVIDIA GeForce RTX 4090 · Ada 白皮书. 完整规格表: L40S · RTX 4090
L40S vs RTX 4090:租用价格。
在 CryptGPU,L40S 每块 GPU 的月租价格为 $789,RTX 4090 为 $269,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。
| CryptGPU | NVIDIA L40S | NVIDIA RTX 4090 | RTX 4090 / L40S |
|---|---|---|---|
| 每块 GPU 月租价格 | $789 | $269 | 0.34× |
| 等效每 GPU 小时价格 | $1.08 | $0.37 | — |
| 每 GB 显存月租价格 | $16.44 | $11.21 | 0.68× |
| 每 PFLOPS 密集 FP8 月租价格 | $1,076 | $815 | 0.76× |
| 最大服务器 | 8× · $6,312/月 | 4× · $1,076/月 | — |
| 市场中位价(每块 GPU) | $1,139 | $387 | — |
| 低于中位价 | −31% | −30% | — |
无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 L40S 服务器 · 配置 RTX 4090 服务器
各款 GPU 能装下哪些模型。
按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。
| 模型 (总参数量) | L40S · FP8 | RTX 4090 · FP8 | L40S · 4 位 | RTX 4090 · 4 位 |
|---|---|---|---|---|
| Qwen3.5-9B | 1× | 1× | 1× | 1× |
| Gemma 4 31B | 1× | 2× | 1× | 1× |
| Llama 3.3 70B | 2× | 4× | 2× | 4× |
| gpt-oss-120b | 4× | — | 2× | 4× |
| DeepSeek-V4-Flash | 8× | — | 8× | — |
| Qwen3.5-397B-A17B | — | — | 8× | — |
| DeepSeek-R1 (671B) | — | — | — | — |
| Kimi K2.6 (1T) | — | — | — | — |
FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?
L40S vs RTX 4090 常见问题。
详细了解各款 GPU:NVIDIA L40S · NVIDIA RTX 4090。
为什么 L40S 比 RTX 4090 贵?
它是数据中心显卡:显存翻倍且带 ECC,采用适合高密度服务器的被动散热,密集 FP8 吞吐量约为 2.2 倍,服务器最多 8 块 GPU。我们对两者的定价都比各自的市场中位价低 30%。
RTX 4090 足以胜任推理吗?
对于能放进 24 GB 的模型,可以:一块显卡可容纳 FP8 下约 18B 的模型,或 4-bit 下约 34B 的模型。它没有 ECC,服务器最多 4 块显卡。
两者都支持 FP8 吗?
支持。两者都是带 FP8 Tensor Core 的 Ada Lovelace GPU,因此 vLLM 等推理引擎可以在任一款上运行 FP8 检查点。两者都不支持 FP4。
其他 GPU 对比。
- Ada Lovelace vs Hopper RTX 4090 vs H100 24 vs 80 GB · 1 TB/s vs 3.35 TB/s $269 vs $1,779/月 · 每块 GPU
- Blackwell vs Ada Lovelace RTX 5090 vs RTX 4090 32 vs 24 GB · 1.8 TB/s vs 1 TB/s $329 vs $269/月 · 每块 GPU
- Blackwell vs Ada Lovelace RTX 5080 vs RTX 4090 16 vs 24 GB · 960 GB/s vs 1 TB/s $199 vs $269/月 · 每块 GPU
租用 L40S 或 RTX 4090。
独享服务器可配置 1 至 8 块 GPU,统一月付价格,支持加密货币支付;10 分钟内上线,无需 KYC。
