NVIDIA 驱动、CUDA 工具包、NVLink 服务器上的 Fabric Manager,以及带 NVIDIA Container Toolkit 的 Docker。
AI 软件需要“GPU 就绪”层。请将GPU 软件切换为“GPU 就绪”以添加该层。
官方权重来自 Hugging Face,使用 Ollama 时则来自 Ollama 库。此处显示的显存 = 权重 + 20% 的 KV 缓存。大型模型可能会在服务器上线后仍在后台继续下载。 在 AMD MI355X 上,vLLM 和 SGLang 仅列出已确认支持 ROCm 的模型;其余模型可通过 Ollama 运行。
还没有 CryptGPU 账户?
此订单将添加到您的账户中,账单信息已保存在该账户下。
服务器访问创建 SSH 密钥