BTC
ETH
USDT
XMR
LTC
AI 模型与选型10 分钟阅读
私有化部署大模型：在自己的 GPU 服务器上自建私有 ChatGPT
私有化部署的大模型会把您的提示词和文档留在您掌控的服务器上：不按 token 计费，除了 GPU 自身的极限，也没有任何速率限制。下文介绍在自己的 GPU 服务器上搭建私有 ChatGPT 需要什么：一个开放权重模型、足够的 GPU 显存、一套推理服务软件，以及严格受控的访问方式，并列出我们可预装的每个模型所需的最便宜服务器。
CryptGPU 团队发布于
核心要点
- 私有化部署大模型，就是在您掌控的 GPU 服务器上运行 gpt-oss、Qwen、Gemma 或 DeepSeek 等开放权重模型，提示词和文档因此不会发送给第三方 API。
- 按 CryptGPU 的选型规则，一个模型所需的 GPU 显存为其权重大小再加 20%，GPU 显存按 92% 计为可用；长上下文和大量用户需要更多显存。
- Ollama 搭配 Open WebUI 可以用量化模型提供私密的类 ChatGPT 聊天界面；vLLM 和 SGLang 则提供兼容 OpenAI 的 API，专为大量并发请求而设计。
- gpt-oss-20b 只需一块 RTX 4090（在 CryptGPU 每月 $269），gpt-oss-120b 只需一块 RTX PRO 6000（$959），无论生成多少 token，价格都固定不变。
- 让模型服务只监听 127.0.0.1，并通过 SSH 隧道或带访问控制的 TLS 反向代理来访问：Ollama 的本地 API 没有任何身份验证。
为什么要私有化部署大模型？
私有化部署大模型（也常被称作本地部署 LLM），就是在您掌控的 GPU 服务器上运行开放权重模型，并通过您自己的聊天界面或 API 来访问它。您的提示词、文档和回答都留在这台服务器上，不经过第三方 API；您为机器支付固定价格，而不是按 token 付费；只有您自己动手更换，模型才会改变。
- 数据留在您自己的机器上。对话、上传的文件和日志都存放在服务器的磁盘上。记录哪些内容、谁能读取、何时删除，都由您决定。
- 不按 token 计费，没有速率限制。唯一的限制是 GPU 的显存和速度，用得多和用得少，花费完全一样。
- 模型由您来选。您可以在 OpenAI、Qwen、Google、Mistral AI、DeepSeek、Z.ai 或 Moonshot AI 发布的开放权重模型中挑选，一直使用效果好的版本，等更好的模型出现再切换，或者用您自己的数据微调模型。
当然也有取舍。ChatGPT 等服务背后的闭源模型并没有公开权重，因此自建 ChatGPT 替代方案只能改用开放模型。而且机器要由您自己运维，从更新、安全到备份都是如此。
四步完成大模型私有化部署
- 选择一个开放权重模型：它要能胜任您的任务，许可证也要符合您的用途。
- 确定 GPU 服务器的规格。权重和 KV 缓存都必须放进 GPU 显存：按权重大小再加约 20% 来规划，长上下文和大量用户则需要更多。
- 选择推理服务软件：想在浏览器里私密聊天，选 Ollama 搭配 Open WebUI；想要能同时处理大量请求、兼容 OpenAI 的 API，选 vLLM 或 SGLang。
- 严格限制访问。让模型服务只监听 127.0.0.1，并通过 SSH 隧道或经过身份验证的 TLS 反向代理来访问。
在 CryptGPU，前三步在下单时就能完成：先选服务器，再在“软件”步骤中从我们的目录里选择推理引擎和模型，安装不收取额外费用。
第 1 步：选择开放权重模型
我们的开放模型页面列出了可以预装的 16 个模型；您拥有 root 权限，也可以自行安装其他任何模型。以下四个问题可以帮您缩小选择范围。
- 要用它做什么？聊天和写作可以选 Qwen3.8 27B 和 Gemma 4 31B，这两款密集模型还能理解图像。推理类任务可以选 gpt-oss-120b 和 gpt-oss-20b，它们的推理强度可以设为低、中、高三档。Devstral Small 2 和 Qwen3-Coder-Next 则是专为编程智能体设计的。
- 许可证是否合适？我们目录中的 Qwen 模型、gpt-oss、Gemma 4 31B、Mistral Small 4 和 Devstral Small 2 采用 Apache 2.0 许可证；DeepSeek 模型和 GLM-5.3-Flash 采用 MIT 许可证；Kimi K2.6 采用修改版 MIT 许可证，Kimi K3 则采用自己的 Kimi K3 许可协议。用于商业用途之前，请先阅读许可证。
- 规模多大？模型越大，回答质量通常越好，所需的 GPU 显存也越多。混合专家（MoE）模型相对其规模运行得很快，因为每个 token 只用到模型的一部分：gpt-oss-120b 共有 1170 亿个参数，其中激活参数为 51 亿。但所有专家仍须驻留在 GPU 显存中，因此 MoE 模型要按总参数量来估算显存。
- 需要多长的上下文？处理长文档需要较长的上下文窗口：Qwen3.5 9B、Qwen3.8 27B 和 Qwen3.6 35B-A3B 原生支持 262,144 个 token，Gemma 4 31B 和 Mistral Small 4 为 256K，Kimi K3 为 1,048,576 个。上下文中的每个 token 还会占用 GPU 显存来存放 KV 缓存。
然后用您自己的提示词测试两三个候选模型：厂商公布的基准测试结果只是起点，并不代表模型在您的任务上的表现。模型信息取自 Hugging Face 上的模型卡片，核实于 2026年10月19日：gpt-oss-120b、gpt-oss-20b、Qwen3.5 9B、Qwen3.8 27B、Qwen3.6 35B-A3B、Qwen3-Coder-Next、Qwen3.5 397B-A17B、Gemma 4 31B、Mistral Small 4、Devstral Small 2、DeepSeek-R1-0528、DeepSeek-V4-Flash、DeepSeek-V4-Pro、GLM-5.3-Flash、Kimi K2.6、Kimi K3。
第 2 步：确定 GPU 服务器规格
GPU 显存决定了您自建的 LLM 服务器能运行哪些模型。我们的规则是：权重大小 × 1.2，为 KV 缓存和激活值留出空间，GPU 显存按 92% 计为可用。若按参数量计算，我们的选型助手在 FP8 下按每 10 亿参数约 1.2 GB 估算，4-bit 下为 0.65 GB。下表把这条规则应用到我们目录中的每个模型：用 vLLM 或 SGLang 运行官方权重（官方权重为 BF16 时按 FP8 计算），用 Ollama 运行其默认版本：
| 模型 | vLLM 或 SGLang：所需显存 | 最便宜的服务器（每月） | Ollama：所需显存 | 最便宜的服务器（每月） |
|---|---|---|---|---|
| Qwen3.5 9B | 11 GB（FP8） | 1× RTX 5080，$199 | 7.9 GB | 1× RTX 5080，$199 |
| gpt-oss-20b | 17 GB（MXFP4） | 1× RTX 4090，$269 | 17 GB | 1× RTX 4090，$269 |
| Devstral Small 2 | 31 GB（FP8） | 2× RTX 4090，$538 | 18 GB | 1× RTX 4090，$269 |
| Qwen3.8 27B | 34 GB（FP8） | 2× RTX 4090，$538 | 22 GB | 1× RTX 4090，$269 |
| Gemma 4 31B | 38 GB（FP8） | 2× RTX 4090，$538 | 24 GB | 1× RTX 5090，$329 |
| Qwen3.6 35B-A3B | 43 GB（FP8） | 2× RTX 4090，$538 | 28 GB | 1× RTX 5090，$329 |
| gpt-oss-120b | 78 GB（MXFP4） | 1× RTX PRO 6000，$959 | 78 GB | 1× RTX PRO 6000，$959 |
| Qwen3-Coder-Next | 95 GB（FP8） | 4× RTX 5090，$1,316 | 62 GB | 1× RTX PRO 6000，$959 |
| Mistral Small 4 | 145 GB（FP8） | 2× RTX PRO 6000，$1,918 | — | — |
| DeepSeek-V4-Flash | 200 GB（FP4/FP8） | 4× RTX PRO 6000，$3,836 | — | — |
| GLM-5.3-Flash | 394 GB（FP8） | 8× RTX PRO 6000，$7,672 | — | — |
| Qwen3.5 397B-A17B | 484 GB（FP8） | 8× RTX PRO 6000，$7,672 | — | — |
| DeepSeek-R1-0528 | 827 GB（FP8） | 4× MI355X，$5,636 | 485 GB | 2× MI355X，$2,818 |
| Kimi K2.6 | 714 GB（INT4） | 4× B300，$16,076 | — | — |
| DeepSeek-V4-Pro | 1,072 GB（FP4/FP8） | 8× B200，$27,512 | — | — |
| Kimi K3 | 1,873 GB（MXFP4） | 8× B300，$32,152 | — | — |
短横线表示我们的目录中没有该模型的 Ollama 版本。对于 vLLM 和 SGLang，尚未确认支持 ROCm 的模型只匹配 NVIDIA GPU。Ollama 的默认版本都是量化版：qwen3.8:27b 大小为 18 GB，与其 q4_K_M 标签相同，而 bf16 版本为 56 GB（Ollama 模型库）。与完整权重相比，质量会有一定损失。
有三点需要注意。这条规则假定上下文长度适中、同时只有少量请求：长对话和大量用户需要更多显存来存放 KV 缓存，详见 LLM 需要多少 GPU 显存。拆分到多块 GeForce 或 RTX PRO 显卡上的模型要通过 PCIe 交换数据，速度比 NVLink 慢。此外，刚好放得下的模型没有任何余量：一块 RTX PRO 6000（96 GB，$959）或一块 H200（141 GB，$2,279）能给中等规模的模型留出增长空间。要为其他模型估算显存，请使用选型助手；要比较适合推理服务的 GPU，请阅读最适合 LLM 推理的 GPU。
第 3 步：选 Ollama 与 Open WebUI，还是 vLLM 与 SGLang
| Ollama + Open WebUI | vLLM 或 SGLang | |
|---|---|---|
| 您得到的是 | 浏览器中的类 ChatGPT 聊天界面，带用户账户和文档上传功能 | 兼容 OpenAI 的 API，供您的应用、脚本和聊天客户端调用 |
| 模型文件 | 来自 Ollama 模型库的量化版本 | Hugging Face 上 BF16、FP8 或 4-bit 格式的检查点 |
| 多用户同时使用 | 默认每个模型一次只处理一个请求，其余排队等待 | 专为此设计：vLLM 有连续批处理，SGLang 有 RadixAttention 和前缀缓存 |
| 身份验证 | Open WebUI 账户；Ollama 自身的 API 没有身份验证 | API 密钥，通过 --api-key 设置 |
| 最适合 | 个人或小团队聊天使用 | 应用程序和大量用户 |
来源：Ollama 常见问题、Ollama 身份验证、Open WebUI、vLLM、SGLang、SGLang 服务器参数。
Ollama 与 Open WebUI
Open WebUI 提供内置 Ollama 的镜像，一个容器就能同时运行两者，Ollama 的 API 也永远不会暴露在外。在装有 Docker 和 NVIDIA Container Toolkit 的 NVIDIA 服务器上（参见容器），可以使用下面这条取自 Open WebUI 快速入门的命令，我们已将其改为只在 127.0.0.1 上发布界面；请把 203.0.113.10 替换为您服务器的地址：
# 在服务器上
docker run -d -p 127.0.0.1:3000:8080 --gpus=all \
-v ollama:/root/.ollama -v open-webui:/app/backend/data \
-e WEBUI_SECRET_KEY="$(openssl rand -hex 32)" \
--name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
# 在您的电脑上执行，然后打开 http://localhost:3000
ssh -N -L 3000:127.0.0.1:3000 root@203.0.113.10先创建管理员账户，再从模型选择器中下载模型，例如 gpt-oss:20b。聊天记录、用户和设置都保存在 open-webui 数据卷中。我们的 Ollama 与 Open WebUI 指南会一步步介绍完整配置。
vLLM 或 SGLang
# 在服务器上（需已安装 vLLM）
KEY=$(openssl rand -hex 32); echo "$KEY"
vllm serve openai/gpt-oss-120b --host 127.0.0.1 --port 8000 --api-key "$KEY"
# 在您的电脑上执行：之后 API 地址为 http://localhost:8000/v1
ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.10任何 OpenAI 客户端只要使用这个 base URL 和密钥即可连接（vLLM 文档）。SGLang 用 python -m sglang.launch_server --model-path <model> 启动，如无另行指定则监听 127.0.0.1:30000，同样支持 --api-key 选项。Open WebUI 也能连接兼容 OpenAI 的 API，因此可以作为两者中任一方的前端聊天界面。安装、多 GPU 和量化的说明见使用 vLLM 部署 LLM 推理服务。
第 4 步：确保私密
只有外人无法访问，私有化部署的模型才能真正保持私密。让所有模型服务都只监听回环地址，再增加一个受控的访问入口。
- 绑定到 127.0.0.1。Ollama 默认就是如此，而且它的本地 API 不需要任何身份验证：切勿对外发布 11434 端口。启动 vLLM 时加上
--host 127.0.0.1；SGLang 默认就绑定在这个地址。 - 把 Docker 端口发布在 127.0.0.1 上。普通的
-p 3000:8080会监听所有网络接口，而且即使 ufw 封锁了该端口，Docker 的规则依然生效（Docker 文档）。 - 使用 SSH 隧道：适合您自己以及已有 SSH 访问权限的人，做法如上面的命令所示，不会额外暴露任何东西。
- 使用带访问控制的 TLS 反向代理：适合需要通过浏览器访问聊天界面的团队。Caddy 会自动获取并续期 HTTPS 证书。Open WebUI 本身不做 TLS 终止，其安全加固指南要求任何可从互联网访问的实例前面都要有一层访问控制：VPN，或者带身份验证和 IP 白名单的代理。
- 用密钥保护 API。在 vLLM 中，
--api-key只保护/v1路由和少数其他路由，并非所有接口（vLLM 安全指南），因此要让代理只转发/v1/，就像我们的 Caddy 示例那样。每个应用使用一个足够长的随机密钥，一旦泄露就立即更换。
在 Open WebUI 中，第一个注册的账户会成为管理员，随后注册入口即自动关闭；如果您为团队重新开放注册，新账户需要等待管理员批准。其余就是常规的服务器维护工作，由您自己负责：只允许 SSH 密钥登录，并及时更新操作系统、推理引擎和 Open WebUI（参见 SSH 访问）。
私有 LLM 服务器要花多少钱
服务器的价格就是全部费用：不按 token 计量。按我们的选型规则，gpt-oss-20b 用一块 RTX 4090 即可运行，每月 $269，约合每小时 $0.37；gpt-oss-120b 用一块 RTX PRO 6000 即可运行，每月 $959，约合每小时 $1.31。在最高端，最大的开放模型需要 8 卡服务器：八块 B300 每月 $32,152。
要与按 token 计费的 API 比较，可以把月费换算成 token 数量：
break-even (million tokens a month) = server price per month ÷ API price per million tokens假设某个 API 每百万 token 收费 P 美元（按输入和输出综合计算），那么 RTX PRO 6000 服务器的盈亏平衡点为每月 959 ÷ P 百万个 token。这需要满足两个条件：开放模型足以胜任您的任务，而且服务器能跟上这样的用量。吞吐量取决于模型、推理引擎和并行请求数；我们不发布基准测试数据，请用您自己的工作负载实测。
多人共享一台服务器时，费用也可以这样平摊：20 个人共用这台 RTX PRO 6000，每人每月 $47.95，无论各自发送多少内容，只要服务器跟得上即可。如果每周只用几个小时，按 token 计费的 API 或按小时计费的 GPU 更便宜；只有当服务器每天大部分时间都在运行时，包月服务器才划算，详见 GPU 包月与按小时租用。
CryptGPU 适合什么场景
CryptGPU 按月出租独享 GPU 服务器，从一块 GeForce 显卡到八块数据中心 GPU，提供 SSH root 权限，您的显卡上也不会有其他租户。下单时，“软件”步骤可以免费安装搭配 Open WebUI 的 Ollama、vLLM 或 SGLang，以及我们目录中的一个模型；付款完成链上确认后，服务器会在 10 分钟内上线。您可以用比特币、以太坊、USDT、门罗币或莱特币付款，且无需 KYC：下单只需要一个邮箱地址，不需要提供身份信息。
如果您需要闭源模型、托管服务，或者每周只用几个小时模型，CryptGPU 并不是合适的选择。服务器由您自己管理，包括更新、安全和备份，我们也不公布 SLA。未续费的服务器会在付费月结束时停止运行，磁盘会被清空，聊天记录也不例外，因此请保留一份 Open WebUI 数据卷的副本。推荐配置见 LLM 推理页面。
常见问题
私有化部署的大模型真的私密吗？
模型运行在您的服务器上，因此提示词、文档和回答不会发送给任何模型提供商。至于还有哪些内容能保持私密，就取决于您的使用方式：谁能登录、您记录哪些日志、备份存放在哪里，以及您接入了哪些外部服务。例如，Open WebUI 可以通过外部服务商进行联网搜索，这些服务商就能看到相应的搜索内容。
私有化部署的模型能取代 ChatGPT 吗？
这取决于您的任务。ChatGPT 背后的闭源模型无法私有化部署，因此在切换之前，请用您自己的提示词比较几个候选开放模型：小模型成本更低、响应更快，大模型的回答通常更好。
一台服务器可以供多少人共用？
这取决于模型、对话长度以及大家发送请求的频率。Ollama 默认每个模型一次只处理一个请求；vLLM 和 SGLang 会对并发请求进行批处理。每个活跃对话还需要显存来存放各自的 KV 缓存，因此在邀请所有人之前，请先用真实的使用场景测试一下。
它能根据我的文档回答问题吗？
可以。Open WebUI 内置检索增强生成（RAG）：您上传文件后，它会把相关段落加入提示词。长文档还需要较长的上下文窗口以及容纳它的显存。例如，Ollama 会根据 GPU 显存来选择默认上下文长度：显存低于 24 GiB 时为 4K token，48 GiB 及以上时为 256K，可以通过 OLLAMA_CONTEXT_LENGTH 修改（Ollama 文档）。
能在 AMD MI355X 上运行吗？
可以，需使用 ROCm 版本：SGLang 将 MI355X 列为受支持的 GPU，vLLM 支持 AMD GPU，Ollama 则支持 gfx950，即 MI355X 的架构（Ollama GPU 列表）。每个模型页面都会显示该模型的 ROCm 支持是否已确认。上文的 Docker 命令仅适用于 NVIDIA GPU。
