开放模型 · Qwen · Apache 2.0
在您自己的 GPU 上
运行 Qwen3.5 397B-A17B。
采用 Apache 许可的最大 Qwen 视觉语言模型。 397B MoE · 激活 17B 参数,807 GB 官方 BF16 权重。
- 968 GB显存(BF16)
- 484 GB显存(FP8)
- 8× RTX PRO 6000最便宜服务器(FP8)
- $7,672每月
Qwen3.5 397B-A17B 所需的显存。
权重 × 1.2 用于 KV 缓存和激活值,按 92% 的可用显存计算:这是我们部署页面采用的选型规则。长上下文和大量并发请求需要更多显存。
| 推理方案 | 显存 | 最便宜服务器 | 每月 | 操作 |
|---|---|---|---|---|
| vLLM 或 SGLang,官方 BF16 权重 | 968 GB | 4× NVIDIA B300 | $16,076/月 | 部署 |
| vLLM 或 SGLang,FP8 | 484 GB | 8× NVIDIA RTX PRO 6000 | $7,672/月 | 部署 |
权重: Qwen/Qwen3.5-397B-A17B · 807 GB, BF16. 我们如何估算 GPU 显存
哪些 GPU 可运行 Qwen3.5 397B-A17B。
每种 GPU 中可容纳该模型的最小服务器及其月度价格。
| GPU | BF16 | FP8 | 价格(BF16) |
|---|---|---|---|
| NVIDIA B300288 GB HBM3e | 4× | 2× | $16,076/月 |
| NVIDIA B200180 GB HBM3e | 8× | 4× | $27,512/月 |
| AMD MI355X288 GB HBM3E | 不可用 | 不可用 | — |
| NVIDIA H200141 GB HBM3e | 8× | 4× | $18,232/月 |
| NVIDIA H10080 GB HBM3 | — | 8× | — |
| NVIDIA RTX PRO 600096 GB GDDR7 ECC | — | 8× | — |
| NVIDIA L40S48 GB GDDR6 ECC | — | — | — |
| NVIDIA RTX 509032 GB GDDR7 | — | — | — |
| NVIDIA RTX 409024 GB GDDR6X | — | — | — |
| NVIDIA RTX 508016 GB GDDR7 | — | — | — |
n/a = 该模型在 vLLM 或 SGLang 上的 ROCm 支持未确认。— = 超出该 GPU 最大服务器的容量。为其他模型选型
部署已预装 Qwen3.5 397B-A17B 的服务器。
在部署页面的“软件”步骤中选择模型:我们会用您选择的引擎为您安装,且不收取额外费用。
- 1
选择服务器
部署页面会推荐可容纳该模型的最便宜服务器,并在您更改精度或引擎时自动切换。
- 2
选择引擎
vLLM 或 SGLang 提供兼容 OpenAI 的 API。
- 3
支付并登录
使用 BTC、ETH、USDT、XMR 或 LTC 支付月费,无需 KYC。确认后,您的服务器将在 10 分钟内上线,并提供 SSH root 权限。
指南:使用 vLLM 部署 LLM 推理服务 · 使用 SGLang 部署 LLM 推理服务 · Ollama 搭配 Open WebUI · 私有化部署大模型 · 用于 LLM 推理的 GPU 服务器 · 服务器入门指南
Qwen3.5 397B-A17B 常见问题。
所有模型:开放模型及其显存需求。
Qwen3.5 397B-A17B 需要多少显存?
按照权重 × 1.2(用于 KV 缓存和激活值)的选型规则,使用 vLLM 或 SGLang 运行官方 BF16 权重(807 GB)大约需要 968 GB 显存;FP8 下约为 484 GB。长上下文和大量并发请求需要更多显存。
Qwen3.5 397B-A17B 能在单块 GPU 上运行吗?
不能。按照我们的选型规则,可容纳该模型的最小配置是 8× RTX PRO 6000(vLLM 或 SGLang,FP8)。
Qwen3.5 397B-A17B 最便宜的服务器是哪款?
CryptGPU 上 Qwen3.5 397B-A17B 最便宜的服务器是 8× NVIDIA RTX PRO 6000(vLLM 或 SGLang,FP8),每月 $7,672。下单时可免费预装该模型,并支持加密货币付款,无需 KYC。
Qwen3.5 397B-A17B 能在 AMD MI355X 上运行吗?
它在 ROCm 上的支持尚未得到确认,因此我们仅在 NVIDIA 服务器上提供该模型。
Qwen3.5 397B-A17B 使用什么许可证?
Apache 2.0。我们从 Hugging Face(Qwen/Qwen3.5-397B-A17B)下载官方权重;许可证合规由您自行负责。
您的专属 Qwen3.5 397B-A17B,几分钟内就绪。
独享 GPU,统一月付价格,模型预装。支持加密货币付款,无需 KYC。
