文档
GPU 服务器文档。
服务器上所需的一切:首次登录、SSH、驱动、CUDA 与 ROCm、容器、多 GPU 任务、推理服务、微调、聊天与图像应用,以及数据。
14 篇指南 · 价格 API 参考
开始使用
- 在新 GPU 服务器上的第一个小时 登录您的新 GPU 服务器,检查 GPU、CPU、内存和磁盘,更新系统并创建 sudo 用户。命令适用于 Ubuntu 22.04 和 24.04 LTS。 4 分钟阅读 · 6 节
- SSH 访问:密钥、防火墙、隧道与文件传输 配置 ed25519 密钥和 ~/.ssh/config,关闭密码登录,装上 ufw 与 fail2ban,用 tmux 保持任务运行,通过隧道访问 Jupyter,并用 rsync 复制数据。 4 分钟阅读 · 8 节
- 账单、加密货币支付与续费 CryptGPU 账单说明:以美元预付包月租期,支持 BTC、ETH、USDT、XMR 或 LTC 付款,涵盖续费、更换服务器、租期结束与退款。 4 分钟阅读 · 8 节
GPU 软件
- Ubuntu 上的 NVIDIA 驱动、CUDA 与 Fabric Manager 在 Ubuntu 上安装 NVIDIA 驱动和 CUDA 工具包,启用持久性模式,在 HGX 服务器上运行 Fabric Manager,检查 NVLink,使用 MIG 并修复 Xid 错误。 7 分钟阅读 · 7 节
- 在 AMD Instinct MI355X 上安装并验证 ROCm 在 MI355X 服务器上安装 AMD GPU 驱动和 ROCm,用 rocminfo 和 amd-smi 检查安装结果,运行 PyTorch 与 ROCm 容器,选择 GPU 并测试 RCCL。 4 分钟阅读 · 8 节
- Docker 使用 GPU:NVIDIA 与 ROCm 容器 安装 Docker 和 NVIDIA Container Toolkit,运行具备 GPU 访问权限的 NGC 和 ROCm 镜像,在 Docker Compose 中预留 GPU,并把数据放在 NVMe 上。 4 分钟阅读 · 7 节
工作负载
- 单台服务器上的多 GPU:拓扑、NCCL 与 torchrun 读取 GPU 拓扑,设置常用 NCCL 变量,用 torchrun 启动 2、4 或 8 GPU 任务,用 nccl-tests 测量总线带宽,并在 AMD MI355X 上使用 RCCL。 5 分钟阅读 · 7 节
- 在独享 GPU 上用 vLLM 提供 LLM 推理服务 使用 vLLM 在 1 到 8 块 GPU 上为开放模型提供推理服务:张量并行、FP8 与 4-bit 量化、基于 SSH 或 TLS 的 OpenAI 兼容 API,以及 GPU 监控。 4 分钟阅读 · 7 节
- 在 GPU 服务器上用 SGLang 部署 LLM 推理服务 在 GPU 服务器上部署 SGLang:用 uv 或 Docker 安装,sglang serve 只监听 localhost 并设置 API 密钥,多卡张量并行与专家并行、FP8,以及 AMD MI355X。 9 分钟阅读 · 9 节
- 用 LoRA 和 QLoRA 微调大模型 在 GPU 服务器上用 LoRA 或 QLoRA 微调 LLM:各规模模型所需显存、TRL SFTTrainer 训练脚本、Unsloth、多 GPU 训练,以及用 vLLM 提供推理服务。 8 分钟阅读 · 9 节
- 本地 NVMe、RAID 0 与数据迁移 按 UUID 识别、格式化并挂载 NVMe 驱动器,用 mdadm 搭建可选的 RAID 0,用 rsync 和 rclone 迁移数据集,并在租期结束前完成备份。 4 分钟阅读 · 7 节
应用
- 在 GPU 服务器上部署 Ollama 和 Open WebUI Ubuntu 安装 Ollama 与 systemd 配置、模型存放在 NVMe、用 Docker 运行只监听 localhost 的 Open WebUI,通过 SSH 或 Caddy 访问,以及 OpenAI 兼容 API。 8 分钟阅读 · 8 节
- 在 GPU 服务器上部署 ComfyUI 在 Ubuntu GPU 服务器上安装 ComfyUI:CUDA 13 版 PyTorch、用 hf CLI 把模型下载到 NVMe、每块 GPU 一个 systemd 服务、ComfyUI-Manager 与 SSH 隧道远程访问。 9 分钟阅读 · 9 节
- 在 GPU 服务器上部署 JupyterLab 在 GPU 服务器上部署 JupyterLab:venv 中的 CUDA 或 ROCm 版 PyTorch、只监听 localhost 并设有密码的 systemd 服务、SSH 隧道远程访问,以及按 notebook 选择 GPU。 8 分钟阅读 · 9 节
没有匹配的指南。请换个关键词,或联系我们。
价格 API
公开的 JSON 接口,提供我们的 GPU 目录、价格和报价数据,无需密钥。
GET /api/v1/gpus
API 参考
# 登录
$ ssh root@<服务器地址>
# GPU、显存和利用率
$ nvidia-smi # NVIDIA
$ rocm-smi # AMD
# GPU 拓扑(NVLink、PCIe)
$ nvidia-smi topo -m
# 能看到所有 GPU 的容器
$ docker run --rm --gpus all ubuntu nvidia-smi
