B300 vs B200 vs H200 vs MI355X：该租哪款旗舰 GPU

四款旗舰，四种定位

B300（Blackwell Ultra）是目前可按需租用的最强 GPU：已有八家服务商上架，而 NVIDIA 的下一代产品 Rubin 目前仅能通过预订获取。B200 是 Blackwell 系列中的上一代产品。H200 属于 Hopper 架构，配备 141 GB HBM3e 显存。MI355X 是 AMD 当前的旗舰产品，基于 CDNA 4 架构打造。

这四款 GPU 均提供 1、2、4 或 8 块 GPU 规格的服务器，且无论规格大小，每块 GPU 的价格相同。选择时需要考虑四个因素：模型和上下文所需的显存大小、训练或推理所使用的数值格式、是否需要 FP64，以及您的软件是否仅支持 CUDA。

参数对比

数据来源：B300 和 B200 的数据来自 NVIDIA 的 HGX 规格（数值为 8-GPU 板卡的数据除以 8；NVIDIA 公布的 FP8 数据包含稀疏加速，因此密集数值为其一半），H200 的数据来自 NVIDIA H200 产品页面（密集 FP8 为稀疏数值的一半），最大功耗数据来自 NVIDIA 的 Blackwell Ultra 技术简报，MI355X 的数据来自 AMD 的 ROCm 文档。功耗数据均为厂商标称的最大值，实际上限取决于具体服务器。

有两个细节值得注意。Hopper 完全不支持 FP4，而 Blackwell 和 CDNA 4 都在硬件层面支持 4 位和 6 位格式运算。此外，B300 保留的 FP64 算力非常有限，这对科学计算代码而言至关重要。

每 GB 显存的价格

对于推理，以及受限于显存而非算力的训练任务而言，有用的指标是每 GB 显存的月费。以我们每块 GPU 的月费计算：

MI355X 每 GB 售价 $4.89，仅为 B300 的 $13.95 的 35%，而两者的显存同为 288 GB、带宽同为 8 TB/s。在 NVIDIA 产品中，B300 每 GB 价格最低，B200 则最高：B200 的价格是 B300 的 86%，但显存只有 B300 的 62.5%。

大规模训练：B300 还是 B200

两款 Blackwell 产品都通过 NVLink 5 以 1.8 TB/s 的速度实现 GPU 间互联，是 Hopper 的 900 GB/s 的两倍。这在分布式训练中十分重要，因为梯度和激活值需要在每一步都跨 GPU 传输。

根据 NVIDIA 的 HGX 数据，B300 和 B200 每块 GPU 的密集 FP8 与 BF16 吞吐量相同。两者的差异在于显存（288 GB 对 180 GB）和 FP4：B300 每块 GPU 的额定密集 FP4 算力为 13.5 PFLOPS，B200 为 9 PFLOPS。对于能在每块 GPU 180 GB 显存内完成的 FP8 或 BF16 训练，B200 能以低 14% 的价格（$3,439 对 $4,019）提供相同的额定吞吐量。而当更大的批次、更长的序列或更大的模型需要额外显存，或需要用 FP4 训练或推理时，B300 的价格才物有所值。

关于 8-GPU 节点，请参阅多 GPU 配置。

长上下文推理：显存决定一切

推理过程中，上下文里的每个 token 都需要将其键值对保存在 GPU 显存中。对于 Llama 3.1 70B 而言，BF16 精度下的 KV 缓存为每个 token 327,680 字节，因此一次 128K token 的对话在权重之外还需要约 43 GB 显存。具体计算方式见我们的 GPU 显存指南。

若权重使用 FP8（约 70 GB），并按 92% 的显存视为可用容量计算，一块 H200 可以容纳模型加一段满长度对话；一块 B300 或 MI355X 则可以容纳模型加约四段。带宽进一步拉大了差距：生成每个 token 都需要从显存中读取权重和缓存，而这三款 8 TB/s 产品的带宽是 H200 的 1.67 倍。B200 则介于两者之间：180 GB 显存、8 TB/s 带宽，可容纳约两段这样的对话。

FP64 科学计算：B300 不适用

许多仿真和科学计算代码依赖双精度运算，而这四款 GPU 在这方面差异巨大。MI355X 的 FP64 额定算力为 78.6 TFLOPS。H200 可达 34 TFLOPS，在 Tensor Core 上为 67 TFLOPS；B200 每块 GPU 为 37 TFLOPS。B300 则几乎放弃了 FP64：NVIDIA 公布的数据显示，整块 8-GPU HGX B300 板卡仅有 10 TFLOPS，相当于每块 GPU 约 1.25 TFLOPS。

对于 AI 与 HPC 混合负载，MI355X 以每月 $1,409 提供 78.6 TFLOPS，而 H200 以 $2,279 提供 67 TFLOPS。在 CUDA 平台上，H200 和 B200 是更好的选择。对于 FP64 密集型代码，应避免选择 B300。

CUDA 还是 ROCm

三款 NVIDIA GPU 均可直接运行完整的 CUDA 生态，包括 TensorRT-LLM 等 NVIDIA 专属工具。MI355X 运行的是 AMD 的开放软件栈 ROCm，该软件栈以架构代号 gfx950 将其列为受支持型号。主流框架均已支持：PyTorch 提供 ROCm 版本，vLLM 在 ROCm 7.0 及以上版本支持 MI350 系列，SGLang 也发布了针对 MI350 级 GPU 构建的 Docker 镜像。

风险在于您的技术栈中的其他部分。自定义的 CUDA 内核需要移植到 HIP，而 AMD 的 HIPIFY 工具只能实现部分自动化，仅提供 CUDA 版本的库将完全无法运行。建议在决定之前逐一检查各项依赖，或先用单块 GPU 试用一个月。配置说明见AMD ROCm和NVIDIA 驱动与 CUDA。

该租哪一款

先从显存和软件需求出发，再比较每 GB 和每块 GPU 的价格。每款 GPU 都有专属页面：B300、B200、H200 和 MI355X。对比页面将它们并列展示，做出选择后即可配置服务器。