BTC
ETH
USDT
XMR
LTC
Решения · Инференс и развёртывание
GPU-серверы для инференса LLM.
Запуск открытых моделей (vLLM, SGLang, TensorRT-LLM) на выделенных GPU, цена в месяц известна заранее.
- 1× MI355Xоптимальный вариант
- 288 ГБПамять GPU
- 1 409 $в месяц
- От 789 $самый дешёвый вариант
Что нужно GPU для инференса LLM.
- 1
Память для весов и KV-кэша
Веса занимают около 2 байт на параметр в BF16, 1 байт в FP8 и около 0,5 в 4-битном формате. Объём KV-кэша растёт с длиной контекста и числом параллельных запросов и часто требует ещё столько же памяти.
- 2
Пропускная способность памяти
Генерация токенов упирается главным образом в пропускную способность памяти: 8 ТБ/с на B300, B200 и MI355X, 4,8 ТБ/с на H200, 1,8 ТБ/с на RTX 5090 и 1,6 ТБ/с на RTX PRO 6000.
- 3
Стабильная стоимость для стабильного трафика
Инференс-эндпоинты работают весь месяц. Фиксированная месячная цена убирает почасовой счётчик у сервиса, который никогда не останавливается.
Лучшие GPU для инференса LLM.
Первый вариант подходит лучше всего; два других жертвуют скоростью, памятью или экосистемой ради цены.
-
Лучший вариант
1× AMD MI355X
288 ГБ HBM3E · 8 ТБ/с за GPU
- Интерконнект
- Один GPU
- vCPU · RAM
- 32 · 384 ГБ
- NVMe
- 3,84 ТБ
1 409 $/мес.
2 022 $ -
Альтернатива
1× NVIDIA H200
141 ГБ HBM3e · 4,8 ТБ/с за GPU
- Интерконнект
- Один GPU
- vCPU · RAM
- 24 · 256 ГБ
- NVMe
- 3,84 ТБ
2 279 $/мес.
3 259 $ -
Альтернатива
1× NVIDIA L40S
48 ГБ GDDR6 ECC · 864 ГБ/с за GPU
- Интерконнект
- Один GPU
- vCPU · RAM
- 12 · 96 ГБ
- NVMe
- 1 ТБ
789 $/мес.
1 139 $
Какой размер сервера нужен для вашей модели?
Веса FP8 занимают ≈1,2 байта на параметр, а 4-битные веса — ≈0,65, и в обоих случаях нужен запас 20–30% под KV-кэш. Длинные контексты и много параллельных пользователей требуют больше.
| Размер модели | Инференс FP8 | Инференс 4-бит |
|---|---|---|
| 8B≈ 10 ГБ / 5 ГБ | 1× RTX 5080199 $/мес. | 1× RTX 5080199 $/мес. |
| 32B≈ 38 ГБ / 21 ГБ | 2× RTX 4090538 $/мес. | 1× RTX 4090269 $/мес. |
| 70B≈ 84 ГБ / 46 ГБ | 1× RTX PRO 6000959 $/мес. | 2× RTX 5090658 $/мес. |
| 120B≈ 144 ГБ / 78 ГБ | 1× MI355X1 409 $/мес. | 1× RTX PRO 6000959 $/мес. |
| 405B≈ 486 ГБ / 263 ГБ | 2× MI355X2 818 $/мес. | 1× MI355X1 409 $/мес. |
| 671B≈ 805 ГБ / 436 ГБ | 4× MI355X5 636 $/мес. | 2× MI355X2 818 $/мес. |
Самая дешёвая конфигурация, вмещающая модель по нашей приближённой оценке — доступно 92% видеопамяти. Попробуйте другие размеры · Видеопамять популярных открытых моделей
ПО для инференса LLM и наши советы.
- vLLMPagedAttention, непрерывный батчинг, сервер, совместимый с OpenAI API; сборки для CUDA и ROCm.
- SGLangБыстрая среда для инференса со структурированной генерацией и кэшированием префиксов.
- TensorRT-LLMДвижки, оптимизированные NVIDIA, с FP8 и FP4 на Hopper и Blackwell.
- llama.cpp / OllamaКвантованные модели в формате GGUF на картах GeForce для разработки и небольших внедрений.
Советы
- Используйте веса FP8 на Hopper, Blackwell и MI355X: это около половины объёма памяти BF16 при небольшой потере качества для большинства моделей.
- Установите тензорный параллелизм равным числу GPU в сервере (2, 4 или 8).
- Привяжите API к localhost и обращайтесь к нему через SSH-туннель, либо разместите перед ним реверс-прокси с аутентификацией и TLS.
Важно знать
MoE-модели должны держать в памяти всех экспертов, даже если на каждый токен активна лишь их часть: считайте объём памяти по полному числу параметров.
Похожие руководства
- Инференс LLM с помощью vLLM на выделенных GPUvLLM превращает модель Hugging Face в API, совместимый с OpenAI. Держите его привязанным к localhost, обращайтесь к нему через SSH или TLS-прокси с аутентификацией и подбирайте конфигурацию с помощью параллелизма и квантования.
- Инференс LLM с помощью SGLang на GPU-сервереSGLang обслуживает открытые модели через API, совместимый с OpenAI, — на одном GPU или с разделением модели между восемью GPU. В этом руководстве по SGLang мы устанавливаем его на Ubuntu, оставляем на localhost под защитой API-ключа и рассматриваем серверы как с NVIDIA, так и с AMD MI355X.
- Запуск Ollama и Open WebUI на GPU-сервереOllama запускает открытые модели на ваших GPU, а Open WebUI добавляет к ним интерфейс в стиле ChatGPT: получается свой ChatGPT на GPU-сервере, который вы контролируете. Держите оба сервиса на localhost и обращайтесь к ним через SSH или TLS-прокси с аутентификацией.
- Лучшая видеокарта для инференса LLM в 2026 году: память, пропускная способность и ценаКакую видеокарту выбрать для LLM в 2026 году: память, пропускная способность и цена 10 GPU для инференса и самый дешёвый сервер для моделей от 8B до 1T.
- Self-hosted LLM: приватный ChatGPT на своём GPU-сервереКак развернуть LLM на своём сервере и получить приватный ChatGPT: выбор открытой модели и GPU, Ollama с Open WebUI или vLLM, защита доступа и стоимость.
Инференс и развёртывание: вопросы и ответы.
Другие нагрузки: Обучение LLM, Дообучение, Изображения и видео, 3D-рендеринг и VFX, Исследования и HPC.
Какой GPU даёт больше всего памяти за доллар?
AMD MI355X: 288 ГБ HBM3E за 1 409 $ в месяц, около 4,89 $ за ГБ. Если ваш стек работает на ROCm (как у vLLM и SGLang), это самый дешёвый способ разместить очень крупные модели.
Может ли один сервер запустить MoE-модель с 671B параметров?
В FP8 такой модели по нашей приблизительной оценке нужно около 805 ГБ: она помещается на 4× MI355X или 4× B300, а также на 8× H200. В 4-бит достаточно 2× MI355X или 2× B300.
Предлагаете ли вы управляемый API для инференса?
Нет. Вы получаете выделенные серверы с root-доступом и самостоятельно запускаете любой инференс-стек.
Начните с 1× MI355X.
AMD MI355X, 288 ГБ видеопамяти, за 1 409 $ в месяц.