BTC
ETH
USDT
XMR
LTC
解决方案 · 推理与服务
面向 LLM 推理的 GPU 服务器。
在独享 GPU 上用 vLLM、SGLang 或 TensorRT-LLM 部署开放权重模型，按月计费，价格提前可知。
- 1× MI355X最佳搭配
- 288 GB显存
- $1,409每月
- $789 起最低价选择
LLM 推理对 GPU 的要求。
- 1
权重与 KV 缓存所需的显存
权重在 BF16 下每参数约占 2 字节，FP8 下为 1 字节，4 位下约为 0.5 字节。KV 缓存会随上下文长度和并发请求数增长，往往需要再占用同样多的显存。
- 2
显存带宽
生成 token 主要受带宽限制：B300、B200 和 MI355X 上为 8 TB/s，H200 上为 4.8 TB/s，RTX 5090 上为 1.8 TB/s，RTX PRO 6000 上为 1.6 TB/s。
- 3
稳定流量，稳定成本
推理端点整月运行。固定月费让一项从不停止的服务不必再按小时计费。
最适合 LLM 推理的 GPU。
第一项是最佳选择；另外两项则在速度、显存或生态与价格之间做了取舍。
-
最佳配置
1× AMD MI355X
288 GB HBM3E · 每块 GPU 8 TB/s
- 互联方式
- 单 GPU
- vCPU · RAM
- 32 · 384 GB
- NVMe
- 3.84 TB
$1,409/月
$2,022 -
备选
1× NVIDIA H200
141 GB HBM3e · 每块 GPU 4.8 TB/s
- 互联方式
- 单 GPU
- vCPU · RAM
- 24 · 256 GB
- NVMe
- 3.84 TB
$2,279/月
$3,259 -
备选
1× NVIDIA L40S
48 GB GDDR6 ECC · 每块 GPU 864 GB/s
- 互联方式
- 单 GPU
- vCPU · RAM
- 12 · 96 GB
- NVMe
- 1 TB
$789/月
$1,139
您的模型需要多大的服务器？
FP8 权重每参数约 1.2 字节，4 位权重约 0.65 字节，两者都已包含 20–30% 的 KV 缓存余量。长上下文和大量并发用户需要更多显存。
| 模型规模 | FP8 推理 | 4 位推理 |
|---|---|---|
| 8B约 10 GB / 5 GB | 1× RTX 5080$199/月 | 1× RTX 5080$199/月 |
| 32B约 38 GB / 21 GB | 2× RTX 4090$538/月 | 1× RTX 4090$269/月 |
| 70B约 84 GB / 46 GB | 1× RTX PRO 6000$959/月 | 2× RTX 5090$658/月 |
| 120B约 144 GB / 78 GB | 1× MI355X$1,409/月 | 1× RTX PRO 6000$959/月 |
| 405B约 486 GB / 263 GB | 2× MI355X$2,818/月 | 1× MI355X$1,409/月 |
| 671B约 805 GB / 436 GB | 4× MI355X$5,636/月 | 2× MI355X$2,818/月 |
按照我们的经验法则（92% 显存可用），能容纳该模型的最便宜配置。尝试其他规格 · 热门开放模型的显存需求
LLM 推理软件及我们的建议。
- vLLMPagedAttention、连续批处理、OpenAI 兼容的服务端；提供 CUDA 和 ROCm 版本。
- SGLang快速的推理运行时，支持结构化生成和前缀缓存。
- TensorRT-LLM针对 NVIDIA 优化的引擎，在 Hopper 和 Blackwell 上支持 FP8 与 FP4。
- llama.cpp / Ollama在 GeForce 显卡上运行 GGUF 量化模型，适合开发和小规模部署。
小贴士
- 在 Hopper、Blackwell 和 MI355X 上使用 FP8 权重：显存约为 BF16 的一半，对大多数模型而言质量损失很小。
- 将张量并行度设置为服务器中的 GPU 数量（2、4 或 8）。
- 把 API 绑定到 localhost，通过 SSH 隧道访问，或者在前面加一层带 TLS 且经过身份验证的反向代理。
小提示
混合专家模型必须把每个专家都保留在显存中，即使每个 token 只会激活其中几个：应按总参数量来估算显存需求。
相关指南
- 在独享 GPU 上用 vLLM 提供 LLM 推理服务vLLM 能把 Hugging Face 模型变成 OpenAI 兼容的 API。保持它绑定在 localhost 上，通过 SSH 或经过身份验证的 TLS 代理来访问，并通过并行和量化来调整规模。
- 在 GPU 服务器上用 SGLang 部署 LLM 推理服务SGLang 通过兼容 OpenAI 的 API 为开放模型提供推理服务，既能在单块 GPU 上运行，也能把模型拆分到八块 GPU 上。本篇 SGLang 部署教程介绍如何在 Ubuntu 上安装 SGLang，让它只监听 localhost 并用 API 密钥加以保护，内容同时涵盖 NVIDIA 服务器和 AMD MI355X 服务器。
- 在 GPU 服务器上部署 Ollama 和 Open WebUIOllama 在您的 GPU 上运行开放模型，Open WebUI 为它们提供类 ChatGPT 的界面：两者结合，就能在您掌控的 GPU 服务器上搭建私有 ChatGPT。让两者都只监听 localhost，并通过 SSH 或经过身份验证的 TLS 代理来访问。
- 2026年最适合 LLM 推理的 GPU：显存、带宽与价格2026年最适合 LLM 推理的 GPU：10 款 GPU 的显存、带宽与价格对比，以及从 8B 到 1T 各种规模模型对应的最便宜服务器。
- 私有化部署大模型：在自己的 GPU 服务器上自建私有 ChatGPT如何私有化部署大模型、自建私有 ChatGPT：挑选开放模型、估算 GPU 显存、运行 Ollama + Open WebUI 或 vLLM、限制访问，以及私有 LLM 服务器的费用。
推理与服务相关问题。
其他工作负载：LLM 训练、微调、图像与视频、3D 渲染与 VFX、研究与 HPC。
哪款 GPU 每美元能提供最多显存？
AMD MI355X：288 GB HBM3E，每月 $1,409，每 GB 约 $4.89。如果您的技术栈运行在 ROCm 上（vLLM 和 SGLang 都支持），这是承载超大模型最便宜的方式。
一台服务器能运行 671B 的混合专家模型吗？
按我们的经验法则，这样的模型在 FP8 下约需 805 GB：4× MI355X 或 4× B300 即可容纳，8× H200 也可以。4 位下，2× MI355X 或 2× B300 就够了。
提供托管推理 API 吗？
不提供。您得到的是拥有 root 权限的独享服务器，可自行运行您选择的推理技术栈。