新品 NVIDIA B300 · 288 GB HBM3e 服务器 — 起价 $4,019/月 每块 GPU

查看 B300

GPU 对比 · Ada Lovelace vs Ada Lovelace

NVIDIA L40S vs RTX 4090。

两款 Ada Lovelace GPU。L40S 是数据中心显卡:48 GB 带 ECC 的 GDDR6 显存,密集 FP8 吞吐量约为 RTX 4090 的 2.2 倍,服务器最多 8 块 GPU。GeForce RTX 4090 为 24 GB,显存带宽略高(1.01 对比 0.86 TB/s),价格约为 L40S 的三分之一:每块 GPU 每月 $269 对比 $789。

  • 48 vs 24 GB显存
  • 0.86 vs 1.01 TB/s显存带宽
  • $789 vs $269每块 GPU 每月

L40S vs RTX 4090:该租哪一款。

适合 L40S 的场景

  • 您的模型每块 GPU 需要超过 24 GB:按我们的选型规则,48 GB 可容纳 FP8 下约 36B 参数,或 4-bit 下约 67B。
  • 您需要 ECC 显存或 8 卡服务器:GeForce 服务器最多 4 块显卡。
  • 您需要大规模 FP8 推理服务:密集 FP8 Tensor 吞吐量 733 TFLOPS,RTX 4090 为 330 TFLOPS。

NVIDIA L40S 服务器起价 $789/月

适合 RTX 4090 的场景

  • 您的模型能放进 24 GB:单卡 FP8 下约 18B 参数,4-bit 下约 34B。
  • 您想以更低价格获得同样的 48 GB:两块 RTX 4090 每月 $538,一块 L40S 每月 $789,只是显存分布在两张卡上。
  • 您的工作负载受显存带宽而非 Tensor 吞吐量限制,例如在能放进显存的模型上为单个用户生成 token。

NVIDIA RTX 4090 服务器起价 $269/月

L40S vs RTX 4090:规格并列对比。

数据均引自 NVIDIA 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。

L40S vs RTX 4090 规格参数
每块 GPUNVIDIA L40SNVIDIA RTX 4090RTX 4090 / L40S
架构Ada LovelaceAda Lovelace, TSMC 4N—
外形规格双槽 PCIe 卡,被动散热PCIe Gen4 显卡—
显存48 GB 带 ECC 的 GDDR624 GB GDDR6X,384 位0.5×
显存带宽864 GB/s1,008 GB/s1.17×
GPU 间互联无(PCIe Gen4 x16)无(PCIe Gen4)—
FP4 张量吞吐量(密集)不支持不支持—
FP8 张量吞吐量(密集)733 TFLOPS330 TFLOPS0.45×
FP16 / BF16 张量吞吐量(密集)362 TFLOPS165 TFLOPS0.46×
FP64———
最大功耗350 W450 W—
每台服务器的 GPU 数量1, 2, 4, 81, 2, 4—
每块 GPU 配套资源12 vCPU · 96 GB RAM · 1 TB12 vCPU · 64 GB RAM · 1 TB—

来源: NVIDIA L40S · NVIDIA GeForce RTX 4090 · Ada 白皮书. 完整规格表: L40S · RTX 4090

L40S vs RTX 4090:租用价格。

在 CryptGPU,L40S 每块 GPU 的月租价格为 $789,RTX 4090 为 $269,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。

L40S vs RTX 4090 租用价格
CryptGPUNVIDIA L40SNVIDIA RTX 4090RTX 4090 / L40S
每块 GPU 月租价格$789$2690.34×
等效每 GPU 小时价格$1.08$0.37—
每 GB 显存月租价格$16.44$11.210.68×
每 PFLOPS 密集 FP8 月租价格$1,076$8150.76×
最大服务器8× · $6,312/月4× · $1,076/月—
市场中位价(每块 GPU)$1,139$387—
低于中位价−31%−30%—

无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 L40S 服务器 · 配置 RTX 4090 服务器

各款 GPU 能装下哪些模型。

按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。

L40S vs RTX 4090 上各模型所需的 GPU 数量
模型 (总参数量)L40S · FP8RTX 4090 · FP8L40S · 4 位RTX 4090 · 4 位
Qwen3.5-9B 1× 1× 1× 1×
Gemma 4 31B 1× 2× 1× 1×
Llama 3.3 70B 2× 4× 2× 4×
gpt-oss-120b 4× — 2× 4×
DeepSeek-V4-Flash 8× — 8× —
Qwen3.5-397B-A17B — — 8× —
DeepSeek-R1 (671B) — — — —
Kimi K2.6 (1T) — — — —

FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?

L40S vs RTX 4090 常见问题。

详细了解各款 GPU:NVIDIA L40S · NVIDIA RTX 4090。

为什么 L40S 比 RTX 4090 贵?

它是数据中心显卡:显存翻倍且带 ECC,采用适合高密度服务器的被动散热,密集 FP8 吞吐量约为 2.2 倍,服务器最多 8 块 GPU。我们对两者的定价都比各自的市场中位价低 30%。

RTX 4090 足以胜任推理吗?

对于能放进 24 GB 的模型,可以:一块显卡可容纳 FP8 下约 18B 的模型,或 4-bit 下约 34B 的模型。它没有 ECC,服务器最多 4 块显卡。

两者都支持 FP8 吗?

支持。两者都是带 FP8 Tensor Core 的 Ada Lovelace GPU,因此 vLLM 等推理引擎可以在任一款上运行 FP8 检查点。两者都不支持 FP4。

租用 L40S 或 RTX 4090。

独享服务器可配置 1 至 8 块 GPU,统一月付价格,支持加密货币支付;10 分钟内上线,无需 KYC。

客户中心

登录 CryptGPU

您的订单、账单和服务器,一站式管理。

还没有 CryptGPU 账户?

账户是在结账时创建的:先选择您的服务器和软件,然后在首次下单的账户步骤中创建账户。

部署服务器