MI355X vs H200:该租哪一款。
适合 MI355X 的场景
- 您需要部署大模型或处理长上下文:单块 GPU 提供 288 GB 显存。
- 您的框架支持 ROCm,并且想要更低的价格:每月 $1,409 对比 $2,279。
- 您既需要 FP64(78.6 TFLOPS 向量算力),也需要 AI 吞吐量。
适合 H200 的场景
- 您的代码依赖 CUDA 内核、TensorRT-LLM 或仅支持 CUDA 的库。
- 您的模型能放进 141 GB 显存,并且想要最成熟的软件支持。
- 您更倾向于有大量公开参考价的市场价格(我们的 MI355X 参考价仅供参考)。
MI355X vs H200:规格并列对比。
数据均引自 NVIDIA 和 AMD 公布的官方规格(按单 GPU 计),张量数据均为密集峰值吞吐量。
| 每块 GPU | AMD MI355X | NVIDIA H200 | H200 / MI355X |
|---|---|---|---|
| 架构 | CDNA 4(gfx950),TSMC 3 nm 和 6 nm | Hopper | — |
| 外形规格 | OAM 模组,液冷 | SXM 模组 | — |
| 显存 | 288 GB HBM3E(8 个 36 GB 堆栈) | 141 GB HBM3e | 0.49× |
| 显存带宽 | 8 TB/s | 4.8 TB/s | 0.6× |
| GPU 间互联 | Infinity Fabric,7 条链路,每条 153.6 GB/s | NVLink 4,每块 GPU 900 GB/s | 0.84× |
| FP4 张量吞吐量(密集) | 10.1 PFLOPS | 不支持 | — |
| FP8 张量吞吐量(密集) | 5,000 TFLOPS | 1,979 TFLOPS | 0.4× |
| FP16 / BF16 张量吞吐量(密集) | 2,500 TFLOPS | 989 TFLOPS | 0.4× |
| FP64 | 78.6 TFLOPS | 34 / 67 TFLOPS | 0.43× |
| 最大功耗 | 1,400 W | 最高 700 W,可配置 | — |
| 每台服务器的 GPU 数量 | 1, 2, 4, 8 | 1, 2, 4, 8 | — |
| 每块 GPU 配套资源 | 32 vCPU · 384 GB RAM · 3.84 TB | 24 vCPU · 256 GB RAM · 3.84 TB | — |
来源: AMD Instinct MI355X · ROCm MI350 系列 · NVIDIA H200. 完整规格表: MI355X · H200
MI355X vs H200:租用价格。
在 CryptGPU,MI355X 每块 GPU 的月租价格为 $1,409,H200 为 $2,279,均比公开按需价格的市场中位价低 30%,支持加密货币支付,无需 KYC。按小时价格为月租价格除以 730 小时所得。
| CryptGPU | AMD MI355X | NVIDIA H200 | H200 / MI355X |
|---|---|---|---|
| 每块 GPU 月租价格 | $1,409 | $2,279 | 1.62× |
| 等效每 GPU 小时价格 | $1.93 | $3.12 | — |
| 每 GB 显存月租价格 | $4.89 | $16.16 | 3.3× |
| 每 PFLOPS 密集 FP8 月租价格 | $282 | $1,152 | 4.1× |
| 最大服务器 | 8× · $11,272/月 | 8× · $18,232/月 | — |
| 市场中位价(每块 GPU) | $2,022* | $3,259 | — |
| 低于中位价 | −30% | −30% | — |
* 市场参考价仅供参考:目前还没有服务商公布该 GPU 的按需价格。无论服务器规模大小,每块 GPU 价格相同,不按小时计费。 我们如何比较价格 · 配置 MI355X 服务器 · 配置 H200 服务器
各款 GPU 能装下哪些模型。
按精度列出可容纳各模型的最小服务器规格;经验法则已为 KV 缓存预留余量,按 GPU 显存的 92% 可用计算。
| 模型 (总参数量) | MI355X · FP8 | H200 · FP8 | MI355X · 4 位 | H200 · 4 位 |
|---|---|---|---|---|
| Qwen3.5-9B | 1× | 1× | 1× | 1× |
| Gemma 4 31B | 1× | 1× | 1× | 1× |
| Llama 3.3 70B | 1× | 1× | 1× | 1× |
| gpt-oss-120b | 1× | 2× | 1× | 1× |
| DeepSeek-V4-Flash | 2× | 4× | 1× | 2× |
| Qwen3.5-397B-A17B | 2× | 4× | 1× | 2× |
| DeepSeek-R1 (671B) | 4× | 8× | 2× | 4× |
| Kimi K2.6 (1T) | 8× | — | 4× | 8× |
FP8 ≈ 1.2 字节/参数,4-bit ≈ 0.65 字节/参数。— 表示超出该 GPU 最大服务器规格。为其他模型选型 · LLM 需要多少显存?
MI355X vs H200 常见问题。
详细了解各款 GPU:AMD MI355X · NVIDIA H200。
MI355X 比 H200 更快吗?
理论上其显存带宽为 1.7 倍,密集 FP8 吞吐量约为 2.5 倍。实际速度取决于您的软件针对 ROCm 的优化程度,我们不发布跑分数据。
vLLM 能在 MI355X 上运行吗?
可以:vLLM 和 SGLang 都为 AMD Instinct GPU 提供 ROCm 版本,PyTorch 也可以使用其 ROCm 版本运行。
单块 MI355X 能装下什么模型?
按我们的经验法则,单块 288 GB 显存的 GPU 可运行 FP8 精度下约 220B 参数的模型,或 4-bit 量化下 405B 参数的模型。
