Self-hosted LLM: приватный ChatGPT на своём GPU-сервере

Зачем разворачивать LLM на своём сервере?

Развернуть LLM на своём сервере — значит запустить модель с открытыми весами на GPU-сервере, который вы контролируете, и работать с ней через собственный чат-интерфейс или API. Ваши промпты, документы и ответы остаются на этом сервере, а не проходят через сторонний API; вы платите фиксированную цену за машину, а не за токены, и модель меняется, только когда её меняете вы.

• Ваши данные остаются на вашей машине. Переписка, загруженные файлы и журналы хранятся на дисках сервера. Вы сами решаете, что записывать в журналы, кто может это читать и когда это удалять.
• Без оплаты за токены и без лимитов на запросы. Ограничения задают только память и скорость GPU, а интенсивная нагрузка стоит столько же, сколько и небольшая.
• Модель выбираете вы. Выбирайте среди моделей с открытыми весами от OpenAI, Qwen, Google, Mistral AI, DeepSeek, Z.ai или Moonshot AI, оставайтесь на версии, которая вас устраивает, переходите на новую, когда появится лучшая, или дообучите модель на своих данных.

Есть и компромиссы. Закрытые модели, на которых работают ChatGPT и похожие сервисы, не публикуются в виде весов, поэтому альтернатива на своём сервере работает на открытой модели. И машину вы обслуживаете сами — от обновлений и безопасности до резервного копирования.

Как развернуть LLM на своём сервере за четыре шага

1. Выберите модель с открытыми весами, которая хорошо справляется с вашими задачами и лицензия которой подходит для вашего сценария использования.
2. Подберите GPU-сервер. Веса и KV-кэш должны помещаться в память GPU: закладывайте размер весов плюс около 20%, а для длинных контекстов и большого числа пользователей — больше.
3. Выберите стек для инференса: Ollama с Open WebUI — для приватного чата в браузере, vLLM или SGLang — для API, совместимого с OpenAI, который обслуживает множество запросов одновременно.
4. Закройте доступ. Держите инференс-сервер на 127.0.0.1 и обращайтесь к нему через SSH-туннель или обратный TLS-прокси с аутентификацией.

В CryptGPU первые три шага можно выполнить при заказе: выберите сервер, а затем на шаге «ПО» — движок и модель из нашего каталога; их установят без дополнительной платы.

Шаг 1: выберите модель с открытыми весами

На нашей странице открытых моделей перечислены модели, которые мы можем предустановить, — сейчас их 16; с root-доступом вы можете установить любую другую. Сузить выбор помогут четыре вопроса.

• Для каких задач? Для чата и работы с текстами подойдут Qwen3.8 27B и Gemma 4 31B — плотные модели, которые также понимают изображения. Для задач с рассуждениями подойдут gpt-oss-120b и gpt-oss-20b: глубину рассуждений у них можно выбрать — низкую, среднюю или высокую. Devstral Small 2 и Qwen3-Coder-Next созданы для агентного программирования.
• Подходит ли лицензия? Модели Qwen из нашего каталога, gpt-oss, Gemma 4 31B, Mistral Small 4 и Devstral Small 2 распространяются под Apache 2.0, модели DeepSeek и GLM-5.3-Flash — под MIT, Kimi K2.6 — под модифицированной лицензией MIT, а Kimi K3 — под собственной лицензией Kimi K3 License. Перед коммерческим использованием прочитайте лицензию.
• Какого размера? Более крупные модели обычно отвечают лучше и требуют больше памяти GPU. Модели на основе смеси экспертов (MoE) работают быстро для своего размера, потому что на каждом токене задействована лишь часть модели: у gpt-oss-120b 117 млрд параметров, из которых активны 5,1 млрд. Но все эксперты всё равно должны находиться в памяти GPU, поэтому MoE-модель подбирайте по общему числу параметров.
• Какой нужен контекст? Для длинных документов нужно длинное контекстное окно: нативно 262 144 токена у Qwen3.5 9B, Qwen3.8 27B и Qwen3.6 35B-A3B, 256K у Gemma 4 31B и Mistral Small 4, 1 048 576 у Kimi K3. К тому же каждый токен контекста занимает память GPU под KV-кэш.

Затем протестируйте двух-трёх кандидатов на своих промптах: бенчмарки разработчиков моделей — отправная точка, а не вердикт для ваших задач. Сведения о моделях взяты из карточек на Hugging Face и проверены 19 октября 2026 г.: gpt-oss-120b, gpt-oss-20b, Qwen3.5 9B, Qwen3.8 27B, Qwen3.6 35B-A3B, Qwen3-Coder-Next, Qwen3.5 397B-A17B, Gemma 4 31B, Mistral Small 4, Devstral Small 2, DeepSeek-R1-0528, DeepSeek-V4-Flash, DeepSeek-V4-Pro, GLM-5.3-Flash, Kimi K2.6, Kimi K3.

Шаг 2: подберите GPU-сервер

Память GPU определяет, какие модели сможет запускать ваш собственный LLM-сервер. Наше правило: размер весов × 1,2, чтобы оставить место для KV-кэша и активаций, причём доступными считаются 92% памяти GPU. В пересчёте на число параметров наш подбор GPU под модель закладывает около 1,2 ГБ на миллиард параметров в FP8 и 0,65 ГБ в 4-битном формате. Вот это правило, применённое к каждой модели нашего каталога, — при запуске через vLLM или SGLang из официальных весов (в FP8, если они опубликованы в BF16) и через Ollama из сборки по умолчанию:

Прочерк означает, что в нашем каталоге нет сборки для Ollama. Для vLLM и SGLang модели, поддержка ROCm для которых не подтверждена, подбираются только под GPU NVIDIA. Сборки Ollama по умолчанию квантованы: qwen3.8:27b весит 18 ГБ — это размер его тега q4_K_M — против 56 ГБ у bf16 (библиотека Ollama). По сравнению с полными весами качество может несколько снизиться.

Три оговорки. Правило рассчитано на умеренный контекст и несколько запросов одновременно: длинным диалогам и большому числу пользователей нужно больше памяти под KV-кэш, как объясняется в статье сколько видеопамяти нужно LLM. Модель, разделённая между несколькими картами GeForce или RTX PRO, обменивается данными через PCIe, а это медленнее, чем NVLink. И модель, которая помещается впритык, не оставляет запаса: одна RTX PRO 6000 (96 ГБ, 959 $) или один H200 (141 ГБ, 2 279 $) даёт модели среднего размера запас для роста. Чтобы подобрать сервер для любой другой модели, воспользуйтесь подбором GPU под модель; чтобы сравнить GPU для инференса, прочитайте статью лучшая видеокарта для инференса LLM.

Шаг 3: Ollama и Open WebUI или vLLM и SGLang

Источники: FAQ Ollama, аутентификация в Ollama, Open WebUI, vLLM, SGLang, аргументы сервера SGLang.

Ollama и Open WebUI

У Open WebUI есть образ со встроенной Ollama: один контейнер запускает оба сервиса, и API Ollama никогда не открывается наружу. Для сервера NVIDIA с Docker и NVIDIA Container Toolkit (см. Контейнеры) ниже приведена команда из руководства по быстрому старту Open WebUI, изменённая так, чтобы интерфейс публиковался только на 127.0.0.1; замените 203.0.113.10 адресом своего сервера:

# на сервере
docker run -d -p 127.0.0.1:3000:8080 --gpus=all \
  -v ollama:/root/.ollama -v open-webui:/app/backend/data \
  -e WEBUI_SECRET_KEY="$(openssl rand -hex 32)" \
  --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

# на вашем компьютере, затем откройте http://localhost:3000
ssh -N -L 3000:127.0.0.1:3000 root@203.0.113.10

Сначала создайте учётную запись администратора, затем скачайте модель через меню выбора моделей, например gpt-oss:20b. Чаты, пользователи и настройки хранятся в томе open-webui. Пошаговая настройка описана в нашем руководстве по Ollama и Open WebUI.

vLLM или SGLang

# на сервере, где установлен vLLM
KEY=$(openssl rand -hex 32); echo "$KEY"
vllm serve openai/gpt-oss-120b --host 127.0.0.1 --port 8000 --api-key "$KEY"

# на вашем компьютере: после этого API доступен по адресу http://localhost:8000/v1
ssh -N -L 8000:127.0.0.1:8000 root@203.0.113.10

С этим базовым URL и ключом работает любой клиент OpenAI (документация vLLM). SGLang запускается командой python -m sglang.launch_server --model-path <model>, по умолчанию слушает 127.0.0.1:30000 и принимает тот же параметр --api-key. Open WebUI тоже умеет подключаться к API, совместимому с OpenAI, поэтому может служить чат-интерфейсом для любого из них. Установка, работа на нескольких GPU и квантование описаны в руководстве по инференсу LLM с помощью vLLM.

Шаг 4: обеспечьте приватность

Модель на своём сервере остаётся приватной, только если посторонние не могут до неё добраться. Держите каждый инференс-сервер на loopback-адресе, а затем добавьте один контролируемый путь доступа.

• Привязывайте серверы к 127.0.0.1. Ollama делает это по умолчанию, а её локальный API не требует аутентификации: никогда не публикуйте порт 11434. Запускайте vLLM с --host 127.0.0.1; SGLang по умолчанию привязывается к этому же адресу.
• Публикуйте порты Docker на 127.0.0.1. Обычный -p 3000:8080 слушает на всех интерфейсах, а правила Docker действуют, даже если ufw блокирует порт (документация Docker).
• Используйте SSH-туннель для себя и тех, у кого уже есть доступ по SSH, как в командах выше: ничего нового наружу не открывается.
• Используйте обратный TLS-прокси с контролем доступа для команды, которой нужен доступ к чату из браузера. Caddy сам получает и продлевает HTTPS-сертификаты. Open WebUI не терминирует TLS, а его руководство по усилению защиты требует уровня контроля доступа перед любым экземпляром, доступным из интернета: VPN или прокси с аутентификацией и списком разрешённых IP-адресов.
• Защищайте API ключами. В vLLM параметр --api-key защищает маршруты /v1 и ещё несколько, но не все эндпоинты (руководство vLLM по безопасности), поэтому пусть прокси пересылает только /v1/, как в нашем примере с Caddy. Используйте отдельный длинный случайный ключ для каждого приложения и заменяйте его в случае утечки.

В Open WebUI первая зарегистрированная учётная запись становится администратором, после чего регистрация закрывается; если вы снова откроете её для своей команды, новые учётные записи будут ждать одобрения администратора. Остальное — обычное обслуживание сервера, и оно на вас: вход только по SSH-ключам и обновления ОС, движка и Open WebUI (см. Доступ по SSH).

Сколько стоит свой сервер для нейросети

Цена сервера — это весь счёт: токены не тарифицируются. По нашему правилу подбора gpt-oss-20b помещается на одной RTX 4090 за 269 $ в месяц, то есть около 0,37 $ в час, а gpt-oss-120b — на одной RTX PRO 6000 за 959 $, около 1,31 $ в час. В верхнем сегменте крупнейшим открытым моделям нужны серверы на восемь GPU: восемь B300 стоят 32 152 $ в месяц.

Чтобы сравнить с API с оплатой за токены, переведите месячную цену в токены:

break-even (million tokens a month) = server price per month ÷ API price per million tokens

Для API, который берёт P долларов за миллион токенов (усреднённо по входным и выходным), сервер с RTX PRO 6000 окупается при 959 ÷ P млн токенов в месяц. Действуют два условия: открытая модель должна достаточно хорошо справляться с вашими задачами, а сервер — выдерживать такой объём. Производительность зависит от модели, движка и числа параллельных запросов; мы не публикуем бенчмарки, поэтому измеряйте её на своей нагрузке.

Общий сервер делится так же: если этой RTX PRO 6000 пользуются 20 человек, на каждого приходится 47,95 $ в месяц, сколько бы запросов они ни отправляли, — пока сервер справляется с нагрузкой. Если модель нужна на несколько часов в неделю, дешевле обойдётся API с оплатой за токены или почасовая аренда GPU; помесячный сервер окупается, когда работает большую часть суток, как показано в статье помесячная и почасовая аренда GPU.

Кому подойдёт CryptGPU

CryptGPU сдаёт в аренду выделенные GPU-серверы помесячно — от одной карты GeForce до восьми GPU для дата-центров, с root-доступом по SSH и без сторонних арендаторов на ваших картах. При заказе на шаге «ПО» можно без дополнительной платы установить Ollama с Open WebUI, vLLM или SGLang с моделью из нашего каталога, а сервер будет онлайн менее чем через 10 минут после подтверждения платежа в блокчейне. Оплата — в Bitcoin, Ethereum, USDT, Monero или Litecoin, без KYC: для заказа нужен адрес электронной почты, а не подтверждение личности.

Это не лучший выбор, если вам нужна закрытая модель, управляемый сервис или модель на несколько часов в неделю. Сервер вы администрируете сами, включая обновления, безопасность и резервное копирование, а SLA мы не публикуем. Сервер без продления останавливается в конце оплаченного месяца, а его диски стираются вместе с историей чатов, поэтому храните копию тома Open WebUI. Рекомендуемые конфигурации — на странице об инференсе LLM.

Частые вопросы

Действительно ли LLM на своём сервере приватна?

Модель работает на вашем сервере, поэтому промпты, документы и ответы не попадают ни к одному поставщику моделей. Что останется приватным дальше, зависит от того, как вы всё организуете: кто может входить в систему, что вы записываете в журналы, куда уходят резервные копии и какие внешние сервисы вы подключаете. Например, Open WebUI умеет искать в интернете через внешних провайдеров, и они видят эти запросы.

Может ли модель на своём сервере заменить ChatGPT?

Зависит от ваших задач. Закрытые модели, на которых работает ChatGPT, нельзя развернуть на своём сервере, поэтому перед переходом сравните открытые модели-кандидаты на своих промптах: небольшие модели дешевле и отвечают быстрее, крупные обычно отвечают лучше.

Сколько человек могут пользоваться одним сервером?

Это зависит от модели, длины диалогов и того, как часто люди отправляют запросы. Ollama по умолчанию обрабатывает один запрос на модель за раз; vLLM и SGLang объединяют одновременные запросы в батчи. Каждому активному диалогу к тому же нужна память под KV-кэш, поэтому проверьте сервер на реальной нагрузке, прежде чем приглашать всех.

Может ли модель отвечать на вопросы по моим документам?

Да. В Open WebUI есть генерация, дополненная поиском (RAG): вы загружаете файлы, а он добавляет в промпт релевантные фрагменты. Длинным документам к тому же нужно длинное контекстное окно и память, чтобы его вместить. Например, Ollama выбирает длину контекста по умолчанию в зависимости от памяти GPU — от 4K токенов при менее чем 24 ГиБ до 256K при 48 ГиБ и более, — а изменить её можно через OLLAMA_CONTEXT_LENGTH (документация Ollama).

Работает ли это на AMD MI355X?

Да, со сборками для ROCm: SGLang указывает MI355X среди поддерживаемых GPU, vLLM поддерживает GPU AMD, а Ollama поддерживает gfx950 — архитектуру MI355X (список GPU Ollama). На странице каждой модели указано, подтверждена ли для неё поддержка ROCm. Команда Docker выше предназначена только для GPU NVIDIA.