您会获得什么
CryptGPU 服务器是按月租用的独享物理机,在您的付款完成链上确认后,不到 10 分钟即可上线。它包含两项内容:服务器地址和 SSH root 权限。在整个租期内,GPU 完全由您独享,不做分时复用,卡上也不会有其他租户。
下单时,“软件”这一步可以让您直接装好带有 GPU 驱动的 Ubuntu、CUDA 或 ROCm 与 Docker,并可以选装一个模型服务器(vLLM、SGLang 或带有 Open WebUI 的 Ollama)及其模型、ComfyUI 或 JupyterLab。其余的一切都由您自己决定,而且都可以用 root 权限自行修改。本系列指南中的命令假定使用 Ubuntu 22.04 或 24.04 LTS。换成其他发行版时步骤相同,但软件包名称和包管理器会不同(例如用 dnf 代替 apt)。
在示例中,203.0.113.10 代表您的服务器地址,alice 代表您的用户名。请把两者都替换成您自己的实际值。
首次登录
在您的电脑上的终端里连接。Linux、macOS 以及 Windows 10 和 11(PowerShell 或 Windows Terminal)都自带 OpenSSH 客户端。
ssh root@203.0.113.10
首次连接时,SSH 会显示服务器的主机密钥指纹,并要求您确认。之后 SSH 会记住这个密钥,一旦发生变化就会发出警告。在执行其他操作之前,先确认您连接的是哪个系统:
cat /etc/os-release
uname -r
如果您是用密码登录的,请设置一个新密码,并改用密钥认证。按照 SSH 访问中的说明在您的电脑上创建一个密钥,然后把它复制到服务器:
# 在服务器上:设置一个新的 root 密码
passwd
# 在您的电脑上(Linux 或 macOS;Windows 请参阅 SSH 指南)
ssh-copy-id -i ~/.ssh/id_ed25519.pub root@203.0.113.10
在第二个终端确认您可以用密钥登录之前,不要关闭这个初始会话。过早关闭它,是把自己锁在外面最常见的原因。
检查硬件
把系统报告的信息与您下单时的配置对比:GPU 型号和数量、vCPU 数量、内存容量以及 NVMe 容量。
GPU
如果已经安装了 GPU 驱动:
# NVIDIA:型号、显存、驱动版本、进程
nvidia-smi
nvidia-smi -L # 每块 GPU 一行
nvidia-smi topo -m # GPU 之间的连接方式:NVLink(NV#)或 PCIe
# AMD Instinct MI355X
amd-smi list
amd-smi topology
拓扑矩阵的含义,以及它对训练和推理服务的影响,见多 GPU 一文。
如果找不到 nvidia-smi 或 amd-smi 命令,说明驱动还没有安装。GPU 仍然可以在 PCI 总线上看到(10de 是 NVIDIA 的厂商 ID,1002 是 AMD 的):
lspci -d 10de: | grep -Ei '3d controller|vga compatible' # NVIDIA 的 GPU
lspci -d 1002: # AMD 的 GPU
然后安装驱动:NVIDIA 驱动与 CUDA,或 MI355X 上的 ROCm。
CPU、内存和磁盘
lscpu | grep -E 'Model name|^CPU\(s\)|NUMA node\(s\)'
free -h
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS,MODEL
df -h
free -h 显示的数值会比实际安装的内存略小,因为固件和内核会保留其中一部分。lsblk 会列出所有 NVMe 驱动器;如果某个驱动器还没有文件系统,存储与数据一文介绍了如何格式化并挂载它。
如果有什么和您的订单不一致,请通过联系表单发送这些命令的输出。
更新操作系统
sudo apt update
sudo apt full-upgrade -y
sudo apt install -y build-essential git curl tmux htop nvtop
[ -f /var/run/reboot-required ] && sudo reboot
内核更新后重启是正常现象;服务器恢复后重新连接即可。请在安装 GPU 驱动之前先完成这些更新,这样驱动才会针对您实际运行的内核构建。
Ubuntu 会通过 unattended-upgrades 自动安装安全更新。如果您的 GPU 驱动来自 Ubuntu 自己的软件源,这类更新可能会在任务运行期间替换掉驱动,导致新启动的进程因为驱动与库版本不匹配而失败,直到您重启才能恢复。NVIDIA 驱动与 CUDA 介绍了如何锁定驱动版本。
创建一个非 root 的 sudo 用户
以普通用户身份工作,只在需要时使用 sudo。以 root 身份创建这个用户,赋予它 sudo 权限,并把您的 SSH 密钥复制给它:
adduser alice # 会要求设置一个密码;sudo 会用到它
usermod -aG sudo alice
install -d -m 700 -o alice -g alice /home/alice/.ssh
install -m 600 -o alice -g alice /root/.ssh/authorized_keys /home/alice/.ssh/authorized_keys
在 AMD 服务器上,还需要把这个用户加入可以打开 GPU 的用户组:usermod -aG render,video alice。
在更改任何其他内容之前,先在您的电脑上打开第二个终端测试:
ssh alice@203.0.113.10
sudo -v && echo "sudo works"
接下来,请按照 SSH 访问中的说明关闭密码登录、限制 root 登录,并启用防火墙。
接下来可以看看
- SSH 访问:只允许密钥登录、ufw、fail2ban、tmux、隧道与 rsync。
- NVIDIA 驱动与 CUDA,或 AMD Instinct MI355X 上的 ROCm。
- 容器:使用 NVIDIA Container Toolkit 或 ROCm 镜像运行 Docker。
- 存储与数据:格式化 NVMe 驱动器并规划备份。
- 多 GPU 训练与推理服务。
- 账单与付款:续费方式以及租期结束时会发生什么。
把服务器上的磁盘当作您数据的唯一副本来对待。如果租期没有续费,服务器会在付费月份结束时停止运行,磁盘上的数据也会被清除。请把任何不能丢失的数据另外备份一份。
对这篇指南有疑问?
请通过联系表单告诉我们您使用的 GPU、运行的命令以及得到的输出结果。
