AMD MI355X：288 GB HBM3E 显存，价格却只相当于 H100

规格参数

MI355X 是 AMD 基于 CDNA 4 架构（目标代号 gfx950）打造的旗舰产品。它由八个计算芯片组成，共有 256 个计算单元。下表数据为 AMD 官方公布的峰值规格。

与 NVIDIA 的产品相比，这相当于一块 B300 的显存、H200 带宽的 1.67 倍，FP64 性能也超过我们所提供的任何一款 NVIDIA GPU：H100 和 H200 的 Tensor Core 只能达到 67 TFLOPS。

为什么价格这么低

我们的 MI355X 每块 GPU 每月收费 $1,409，而 H100 是 $1,779，H200 是 $2,279。它遵循我们对所有出租 GPU 采用的同一规则——比市场参考价低 30%——只是这个参考价本身就很低。在我们调研的服务商中，没有一家公布 MI355X 的按需价格。我们找到的两个公开起始价是每 GPU 小时 $2.59 和 $2.95，低于 H100 的中位价 $3.49。

我们对原因的理解是：

• 按需供应有限。按小时出售 MI355X 的服务商很少。在我们的调研中，相关报价多为询价或起始价，所以公开参考价是由最低报价决定的，而不是由一个广泛的按需市场决定的。
• 软件生态更年轻。CUDA 起步早得多，一些工具和内核只支持 NVIDIA GPU。无法迁移技术栈的团队不会去争抢 AMD 的算力，这也压低了价格。

这两点都与硬件本身无关。但它们都提示您在切换之前，先检查一下自己的软件。

每美元显存量：对比 H100 和 H200

按每 GB 计算，MI355X 的价格只是 H200 的 30%、H100 的 22%：每花一美元，买到的显存是 H200 的 3.3 倍、H100 的 4.5 倍。按每块 GPU 计算，它比 H100 便宜 21%，显存却是它的 3.6 倍。

它的优势所在：受显存限制的推理场景

大模型推理通常受限于显存：模型必须能放得下，而且每生成一个 token 都要读取权重和 KV 缓存。这正是 288 GB 显存加 8 TB/s 带宽发挥价值的地方。以 FP8 精度的 Llama 3.1 405B 为例，按我们的选型规则（每十亿参数 1.2 GB，显存可用率 92%）计算，需要 486 GB：

两块 MI355X 就能容纳这个模型，价格只是两块 B300 的 35%、四块 H200 的 31%、八块 H100 的 20%。这个规律在 FP8 精度的 DeepSeek-V3 或 R1（按同一规则需要 805 GB）上同样适用：4× MI355X 每月 $5,636，而 4× B300 要 $16,076，8× H200 要 $18,232。再比如 BF16 精度的 Llama 3.1 70B（168 GB），单块 MI355X 就能容纳，而使用 CUDA 则需要两块 RTX PRO 6000（$1,918）、一块 B300（$4,019）或两块 H200（$4,558）。

能放得下不代表速度快。每秒处理的 token 数取决于引擎、内核以及模型的拆分方式，所以在把生产环境负载迁移过去之前，请先用您自己的模型做基准测试。选型方法详见您的模型需要多少 GPU 显存。

目前 ROCm 上能运行什么

• ROCm 官方将 MI355X（gfx950）列为受支持型号，覆盖 Ubuntu 22.04 与 24.04、RHEL 9 与 10、SLES 15 SP7、Debian 13 以及 Oracle Linux 9 与 10。
• PyTorch 提供 ROCm 版的 wheel 包，AMD 也维护了现成的 rocm/pytorch Docker 镜像。
• vLLM 在 ROCm 7.0 及更高版本上支持 MI350 系列（gfx950），提供 ROCm wheel 包和 Docker 镜像，其 FP8 KV 缓存（fp8_e4m3）也能在 AMD GPU 上使用。
• SGLang 发布了专为 MI350 级 GPU 构建的 Docker 镜像。

对于不含自定义 CUDA 内核的 PyTorch 代码，以及用 vLLM 或 SGLang 部署开放权重模型，这些都是已获支持的路径。您会获得 SSH root 权限，可以自行安装软件栈；从驱动到第一个容器的搭建步骤，参见AMD ROCm和容器。

切换之前要注意的问题

• 仅支持 CUDA 的软件。像 TensorRT-LLM 这类 NVIDIA 工具无法在 AMD GPU 上运行，一些库也只提供 CUDA 版本。请列出您的所有依赖项并逐一检查。
• 自定义内核。手写的 CUDA 内核必须移植到 HIP。AMD 的 HIPIFY 工具能自动转换大部分源码，但并非全部，移植后的内核仍需测试和调优。
• 只支持较新版本。MI355X 需要较新的软件栈：vLLM 要求 ROCm 7.0 或更高版本才能支持它，相关库也必须包含针对 gfx950 的内核。只为老款 AMD GPU 构建的容器可能无法使用。
• 量化格式。MI355X 支持 FP8 以及开放的 MX 系列格式（MXFP8、MXFP6、MXFP4）。在围绕某个量化格式做规划之前，请先确认您的量化检查点所用的格式在 ROCm 上受支持。
• 横向扩展带宽。七条 Infinity Fabric 链路提供 1.07 TB/s，高于 H100 和 H200 上 NVLink 4 的 900 GB/s，但低于 B200 和 B300 上 NVLink 5 的 1.8 TB/s。

何时应该选择 MI355X

当每美元显存量是决定因素时，选择 MI355X：例如 FP8 或 BF16 精度的大模型、长上下文、单台服务器跑多个模型，或是在 AI 之外还要跑 FP64 任务。当您的技术栈绑定 CUDA、依赖 TensorRT-LLM 或自定义 CUDA 内核，或者模型在 80 GB 或 141 GB 显存下就能轻松容纳时，则选择 H100 或 H200。

如果还不确定，可以先租一块 MI355X 用一个月，跑一下自己的基准测试，再按同样的单价追加到 2、4 或 8 块 GPU。参见MI355X 页面，将它与H100、H200 对比，阅读我们的旗舰 GPU 对比文章，或直接配置一台服务器。