L40S vs H100:该租哪一款。
适合 L40S 的场景
- 您需要部署 FP8 精度下约 30B 参数以内的模型,或运行扩散模型与视频生成流水线。
- 您既需要图形渲染也需要 AI:RT Core 以及硬件视频编解码。
- 价格是关键:每块 GPU 每月 $789 对比 $1,779。
适合 H100 的场景
- 您需要跨 GPU 训练或微调:NVLink 4 与 3.35 TB/s 的 HBM3 带宽。
- 您需要部署更大的模型:单块 GPU 80 GB 显存,带宽接近 4 倍。
- 您需要用于仿真计算的 FP64。
L40S vs H100:规格并列对比。
数据均引自 NVIDIA 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。
| 每块 GPU | NVIDIA L40S | NVIDIA H100 | H100 / L40S |
|---|---|---|---|
| 架构 | Ada Lovelace | Hopper, TSMC 4N | — |
| 外形规格 | 双槽 PCIe 卡,被动散热 | SXM5 模组 | — |
| 显存 | 48 GB 带 ECC 的 GDDR6 | 80 GB HBM3,5,120 位 | 1.67× |
| 显存带宽 | 864 GB/s | 3.35 TB/s | 3.9× |
| GPU 间互联 | 无(PCIe Gen4 x16) | NVLink 4,每块 GPU 900 GB/s | — |
| FP4 张量吞吐量(密集) | 不支持 | 不支持 | — |
| FP8 张量吞吐量(密集) | 733 TFLOPS | 1,979 TFLOPS | 2.7× |
| FP16 / BF16 张量吞吐量(密集) | 362 TFLOPS | 989 TFLOPS | 2.7× |
| FP64 | — | 34 / 67 TFLOPS | — |
| 最大功耗 | 350 W | 最高 700 W,可配置 | — |
| 每台服务器的 GPU 数量 | 1, 2, 4, 8 | 1, 2, 4, 8 | — |
| 每块 GPU 配套资源 | 12 vCPU · 96 GB RAM · 1 TB | 20 vCPU · 200 GB RAM · 2 TB | — |
来源: NVIDIA L40S · NVIDIA H100. 完整规格表: L40S · H100
L40S vs H100:租用价格。
在 CryptGPU,L40S 每块 GPU 的月租价格为 $789,H100 为 $1,779,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。
| CryptGPU | NVIDIA L40S | NVIDIA H100 | H100 / L40S |
|---|---|---|---|
| 每块 GPU 月租价格 | $789 | $1,779 | 2.3× |
| 等效每 GPU 小时价格 | $1.08 | $2.44 | — |
| 每 GB 显存月租价格 | $16.44 | $22.24 | 1.35× |
| 每 PFLOPS 密集 FP8 月租价格 | $1,076 | $899 | 0.84× |
| 最大服务器 | 8× · $6,312/月 | 8× · $14,232/月 | — |
| 市场中位价(每块 GPU) | $1,139 | $2,548 | — |
| 低于中位价 | −31% | −30% | — |
无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 L40S 服务器 · 配置 H100 服务器
各款 GPU 能装下哪些模型。
按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。
| 模型 (总参数量) | L40S · FP8 | H100 · FP8 | L40S · 4 位 | H100 · 4 位 |
|---|---|---|---|---|
| Qwen3.5-9B | 1× | 1× | 1× | 1× |
| Gemma 4 31B | 1× | 1× | 1× | 1× |
| Llama 3.3 70B | 2× | 2× | 2× | 1× |
| gpt-oss-120b | 4× | 2× | 2× | 2× |
| DeepSeek-V4-Flash | 8× | 8× | 8× | 4× |
| Qwen3.5-397B-A17B | — | 8× | 8× | 4× |
| DeepSeek-R1 (671B) | — | — | — | 8× |
| Kimi K2.6 (1T) | — | — | — | — |
FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?
L40S vs H100 常见问题。
详细了解各款 GPU:NVIDIA L40S · NVIDIA H100。
L40S 适合用于 LLM 推理吗?
对于能放进 48 GB 显存的模型来说,答案是可以:以较低价格提供 FP8 Tensor Core 和 ECC 内存。但带宽仅为 864 GB/s,处理大模型时生成 token 的速度比配备 HBM 显存的 GPU 慢。
L40S 便宜多少?
每块 GPU 每月便宜 $990:$789 对比 $1,779。
L40S 能用来训练模型吗?
它可以微调较小的模型,但不支持 NVLink,带宽也更低:如果需要多 GPU 训练,H100 或更新的 HBM 显存 GPU 才是合适的选择。
