配置您的 GPU 服务器。
选择 GPU 型号和规格,或者从您要运行的模型开始。随着您的选择变化,月付价格、市场中位价和完整服务器规格都会实时更新。
我们如何估算所需显存。
“按模型大小”模式会将参数数量乘以每个参数的字节数,并预留 8%的显存作为余量。
| 工作负载 | 每参数字节数 | 70B 模型 | 最经济配置 |
|---|---|---|---|
| FP16/BF16 推理 | ≈ 2.4 | 168 GB | 1× MI355X$1,409/月 |
| FP8 推理 | ≈ 1.2 | 84 GB | 1× RTX PRO 6000$959/月 |
| 4 位推理 | ≈ 0.65 | 46 GB | 2× RTX 5090$658/月 |
| QLoRA 微调 | ≈ 0.75 | 53 GB | 2× RTX 5090$658/月 |
| LoRA 微调(BF16) | ≈ 3 | 210 GB | 1× MI355X$1,409/月 |
| 全参数训练(混合精度,Adam) | ≈ 18 | 1,260 GB | 8× MI355X$11,272/月 |
数字包含哪些内容
- 推理:权重(每个参数 2、1 或约 0.5 字节)加上 20–30%用于 KV 缓存。
- LoRA 与 QLoRA:冻结的基础模型、适配器、梯度和激活值。
- 完整训练:权重、梯度和混合精度下的 Adam 优化器状态,外加为激活值预留的余量。
混合专家模型按其总参数量计算:每个专家都会驻留在显存中。长上下文和大量并发请求需要更多显存来存储 KV 缓存。
每种配置均包含以下内容。
- 独享 GPU您的显卡不做时间分片,也不会有其他租户共用。
- SSH root 权限自行安装驱动、CUDA 或 ROCm、容器和框架。
- DDR5 RAM 和本地 NVMevCPU、RAM 和 NVMe 会随 GPU 数量同步扩展。
- 每块 GPU 价格一致适用于所有服务器规模,从 1 至 8 块 GPU。
- 按月续费按月预付,续费与否由您决定。无长期合约。
- 用加密货币支付BTC、ETH、USDT、XMR 或 LTC。
配置相关问题。
还有其他问题?联系我们。
所有规格下,每块 GPU 的价格都相同吗?
是的。配备 n 块 GPU 的服务器价格是一块 GPU 价格的 n 倍,适用于 1 到 8 块 GPU。vCPU、RAM 和 NVMe 也按相同比例增加。
可以在一台服务器中混用不同型号的 GPU 吗?
不可以。每台服务器只搭载一种 GPU 型号。如需同时运行两种模型(例如用 H200 做推理、RTX 5090 做图像生成),请配置两台服务器。
以后可以为服务器增加 GPU 吗?
请将新规格作为一台新服务器下单,并自行迁移数据;旧服务器会保留至租期结束。服务器间的数据迁移由您自行负责。
为什么不能选择 8 块 GeForce 显卡?
GeForce 服务器(RTX 5090、4090、5080)可配置 1、2 或 4 块显卡。数据中心 GPU 以及 RTX PRO 6000 和 L40S 可配置 1、2、4 或 8 块。
模型显存估算有多准确?
这只是一个经验法则:按所选精度或训练方式计算每个参数所占字节数,并为 KV 缓存和激活值预留余量,同时按 92%的显存计为可用容量。超长上下文、大批量以及某些框架可能需要更多显存,请用您自己的工作负载进行测试。
如何订购此配置?
点击摘要中的“部署”按钮:订单表单会自动填入这个 GPU 型号、规格和价格。填写您的邮箱和 SSH 密钥,选择一种币种后,订单页面就会显示付款详情。无需注册账户。
