Лучшая видеокарта для инференса LLM в 2026 году: память, пропускная способность и цена

Какая видеокарта лучше всего подходит для инференса LLM?

Лучший GPU для инференса LLM — самый дешёвый из тех, чья память вмещает вашу модель и её KV-кэш, с максимальной пропускной способностью памяти, которую позволяет бюджет. Объём памяти определяет, какие модель и контекст поместятся; пропускная способность памяти — насколько быстро генерируются токены, потому что каждый новый токен требует чтения весов модели из памяти.

Среди GPU, которые мы сдаём в аренду, это означает:

• Модели примерно до 30B в 4-битном формате: одна RTX 4090 или RTX 5090.
• Модель 70B в FP8 или gpt-oss-120b: одна RTX PRO 6000 (96 ГБ).
• Модели класса 70B, которым на CUDA нужно больше скорости или контекста: H200 (141 ГБ при 4,8 ТБ/с).
• Больше всего памяти на доллар, если ваша модель работает на ROCm: MI355X (288 ГБ при 8 ТБ/с).
• Крупнейшие модели на CUDA: B300 (288 ГБ при 8 ТБ/с, NVLink 5).

Мы не публикуем бенчмарки: все цифры ниже взяты из спецификаций производителей, нашего правила подбора и цен нашего каталога, а скорости — это расчётные потолки, а не результаты измерений.

Объём VRAM определяет, какие модель и контекст поместятся

Начните с объёма: если веса и KV-кэш не помещаются в память GPU, модель не запустится или её придётся разделить между большим числом GPU. Наше правило подбора:

GB needed = billions of parameters × 2,4 in BF16, 1,2 in FP8, 0,65 in 4-bit
usable    = 92% of GPU memory

Коэффициенты добавляют к весам 20% в BF16 и FP8 и 30% в 4-битном формате — этого достаточно для KV-кэша при умеренном контексте. Модели 70B в FP8 нужно около 84 ГБ: одного H100 (80 ГБ, из них доступно около 74 ГБ) мало, а одна RTX PRO 6000 (96 ГБ) или один H200 её вмещают.

Этот запас — лишь отправная точка. KV-кэш растёт с длиной каждого диалога и с числом диалогов, обслуживаемых одновременно, и при длинных контекстах или большом числе пользователей ему может понадобиться столько же памяти, сколько весам. MoE-модели должны держать в памяти всех экспертов: подбирайте их по общему числу параметров. Формулы и примеры расчётов — в статье сколько видеопамяти нужно вашей модели; подбор GPU под модель покажет все серверы, на которых помещается выбранная модель.

Пропускная способность памяти определяет скорость генерации токенов

Когда модель помещается в память, темп каждого диалога задаёт пропускная способность памяти. Модель генерирует по одному токену за раз, и для каждого токена GPU читает из памяти веса и KV-кэш этого диалога. NVIDIA называет эту фазу декодирования ограниченной памятью (memory-bound): «Скорость, с которой данные (веса, ключи, значения, активации) передаются в GPU из памяти, в основном и определяет задержку» (NVIDIA). Databricks измеряет достигнутую пропускную способность как (размер модели + размер KV-кэша) ÷ время на один выходной токен (Databricks), откуда следует потолок для одного диалога:

time per token    ≥ (weight bytes + KV cache bytes) ÷ memory bandwidth
tokens per second ≤ memory bandwidth ÷ bytes read per token

Плотная модель 70B в FP8 читает около 70 ГБ весов на каждый токен. Тогда потолок для одного диалога — около 23 токенов в секунду на RTX PRO 6000 (1,6 ТБ/с), 69 на H200 (4,8 ТБ/с) и 114 на B300, B200 или MI355X (8 ТБ/с), ещё без учёта KV-кэша. Реальные движки остаются ниже этого потолка: Databricks сообщает о 60% от пиковой пропускной способности при размере батча 1 на двух H100.

• Более низкая точность поднимает потолок. FP8 вдвое сокращает объём данных, читаемых на токен, по сравнению с BF16, а 4-битный формат — ещё вдвое: квантование позволяет «передавать больше параметров при той же пропускной способности», как формулирует NVIDIA.
• MoE-модели читают только активные параметры. gpt-oss-120b задействует на каждый токен 5,1B из своих 117B параметров (карточка модели), Qwen3.5-397B-A17B — 17B из 397B (карточка модели): каждый токен читает лишь небольшую долю весов, но все они должны находиться в памяти.
• При большом числе пользователей ограничением становятся вычисления. При батчинге «затраты памяти на веса распределяются» между запросами, а при больших размерах батча, по данным Databricks, «система ограничена вычислениями» — как обычно и бывает при генерации первого токена каждого ответа. Именно здесь важна производительность в FP8 и FP4.

Поэтому выбирать между объёмом VRAM и пропускной способностью не нужно: сначала объём, затем максимальная пропускная способность, которую вы можете себе позволить при таком объёме.

Числовые форматы, связь между GPU и ПО

Поддержка FP8 и FP4

Все GPU, которые мы сдаём в аренду, аппаратно поддерживают FP8 — от карт Ada (L40S, RTX 4090) до Hopper, Blackwell и MI355X. FP4 — формат более новый: NVFP4 от NVIDIA был «представлен вместе с архитектурой GPU NVIDIA Blackwell» (NVIDIA), а MI355X добавляет MXFP8, MXFP6 и MXFP4 (AMD). У Hopper и Ada нет тензорных ядер FP4, но 4-битные веса всё равно экономят на них память и пропускную способность: ядра Marlin в vLLM запускают 4-битные и FP8-чекпоинты на Ampere, Ada и Hopper (vLLM), а OpenAI заявляет, что gpt-oss-120b с весами экспертов в MXFP4 работает на одном GPU с 80 ГБ, например H100 (карточка модели). Нативные вычисления в FP4 помогают больше всего там, где ограничением служат вычисления: при больших батчах и длинных промптах.

NVLink, Infinity Fabric или PCIe

Когда модель занимает несколько GPU, тензорный параллелизм разбивает каждый слой между ними, и GPU обмениваются данными на каждом шаге. NVLink 5 связывает каждый B300 или B200 на скорости 1,8 ТБ/с, NVLink 4 — каждый H200 или H100 на 900 ГБ/с, Infinity Fabric — каждый MI355X на 1,07 ТБ/с. RTX PRO 6000, L40S и карты GeForce используют PCIe: NVIDIA указывает 128 ГБ/с для PCIe Gen5 у H100 (NVIDIA) и 64 ГБ/с в обе стороны для Gen4 x16 у L40S (NVIDIA). Без NVLink vLLM советует конвейерный параллелизм — «для более высокой производительности и меньших накладных расходов на обмен данными» (vLLM). Как отмечает Databricks, разделение модели к тому же даёт всё меньший выигрыш в задержке, поэтому модель, которая помещается на один GPU, лучше всего обслуживать с одного GPU, а для большей производительности запускать по копии на каждом GPU.

CUDA или ROCm

На GPU NVIDIA экосистема CUDA работает как есть, включая TensorRT-LLM — собственный движок NVIDIA для её GPU (GitHub). MI355X работает на ROCm: vLLM поддерживает серию MI350, к которой он относится, начиная с ROCm 7.0 (vLLM). Но поддержка всё равно зависит от модели и её ядер: на страницах моделей мы предлагаем модель на MI355X с vLLM или SGLang, только когда её поддержка ROCm подтверждена, — сейчас это gpt-oss-20b, gpt-oss-120b и DeepSeek-R1-0528. Компромиссы разобраны в нашей статье про MI355X.

Сравнение GPU для инференса LLM: память, пропускная способность, цена

Показатели, важные для инференса, по каждому GPU, который мы сдаём в аренду. Цены указаны за GPU в месяц и одинаковы при любом размере сервера.

Спецификации производителей на один GPU, FP8 без разреженности. *NVIDIA не уточняет, учитывают ли показатели RTX PRO 6000 Server Edition разреженность.

• Память на доллар: 1 ГБ стоит 4,89 $ в месяц на MI355X, 9,99 $ на RTX PRO 6000, 10,28 $ на RTX 5090 и 16,16 $ на H200.
• Пропускная способность на доллар: около 568 ГБ/с на 100 $ в месяц у MI355X и 545 у RTX 5090 — против 211 у H200 и 188 у H100.
• H200 или H100: одинаковая производительность в FP8, но H200 даёт на 61 ГБ больше памяти и на 43% более высокую пропускную способность за 500 $ в месяц сверху (H100 vs H200).
• RTX PRO 6000 или H100: больше памяти за 959 $ против 1 779 $, но пропускная способность 1,6 ТБ/с против 3,35 (RTX PRO 6000 vs H100).
• L40S: меньше всего пропускной способности на доллар — около 110 ГБ/с на 100 $. У RTX 4090 пропускная способность выше при цене 269 $ против 789 $, но памяти вдвое меньше.

Как выбрать: самый дешёвый подходящий сервер для каждого размера модели

Самый дешёвый сервер, который вмещает модель каждого класса по нашему правилу подбора; каждый класс рассчитан по верхней границе. Если самым дешёвым оказывается MI355X, в скобках указан самый дешёвый сервер NVIDIA.

• До 14B: одна карта GeForce. RTX 5090 стоит на 60 $ дороже, чем RTX 4090, но даёт в 1,78 раза большую пропускную способность и 32 ГБ вместо 24 (RTX 5090 vs RTX 4090).
• До 32B: одна RTX 4090 в 4-битном формате или две в FP8 через PCIe; одна RTX 5090 оставляет больше места для KV-кэша в 4-битном формате.
• 70B, плотные: одна RTX PRO 6000 — самый дешёвый вариант на одном GPU в FP8; две RTX 5090 в 4-битном формате стоят меньше, но модель приходится делить. Один H200 тоже вмещает веса в FP8, и у него остаётся на 45 ГБ больше для контекста и пользователей.
• MoE класса 120B: gpt-oss-120b в MXFP4 помещается на одной RTX PRO 6000, и каждый токен читает только 5,1B активных параметров. В FP8 MoE-модели на 120B нужен один MI355X, если она работает на ROCm, или две RTX PRO 6000.
• От 400B и выше: здесь окупаются 288 ГБ на GPU: один MI355X вмещает модель 397B в 4-битном формате, четыре — DeepSeek-R1-0528 в FP8. На NVIDIA таким моделям нужно от четырёх до восьми RTX PRO 6000 через PCIe, а самым крупным в FP8 — серверы B300 или B200 с NVLink. Для моделей, работа которых на ROCm ещё не подтверждена, ориентируйтесь на цифры для NVIDIA (см. также B300 vs B200 vs H200 vs MI355X).

Столбцы для 4 бит предполагают, что 4-битный чекпоинт существует — официальный или от сторонних авторов; проверьте его качество на своих промптах. Нативные форматы различаются: веса экспертов в MXFP4 у gpt-oss-120b, INT4 у Kimi K2.6 (карточка модели), FP8 у DeepSeek-R1-0528 (карточка модели) и Mistral Small 4 (карточка модели), BF16 у Qwen3.5-397B-A17B. Наши страницы моделей рассчитывают каждую модель по её официальному чекпоинту плюс 20%, поэтому результаты могут отличаться: чекпоинт Kimi K2.6 размером 595 ГБ даёт около 714 ГБ, и самым дешёвым подходящим сервером NVIDIA становится 4× B300, 16 076 $.

О чём не говорит самый дешёвый вариант

• MoE-моделям нужна память для всех экспертов, но вычисления на каждом токене выполняют только активные эксперты.
• Длинным контекстам и большому числу пользователей может понадобиться больше KV-кэша, чем покрывает наш запас в 20–30%: рассчитайте его для своего контекста и числа одновременных запросов или возьмите следующий размер. vLLM умеет хранить кэш в FP8 (--kv-cache-dtype fp8) — это вдвое меньше, чем в BF16 (vLLM).
• Самый дешёвый вариант — не самый быстрый. Для модели 70B в FP8 один H200 стоит в 2,4 раза больше, чем RTX PRO 6000 (2 279 $ против 959 $), но даёт в 3,0 раза большую пропускную способность. Если ваши пользователи ждут длинных ответов, скорость может того стоить.
• PCIe — самая медленная из этих связей. Для модели 397B в 4-битном формате один B300 стоит 4 019 $ против 3 836 $ за четыре RTX PRO 6000, и модель не нужно делить.
• Цена MI355X основана на ориентировочном рыночном показателе, поскольку ни один провайдер не публикует для него цену по требованию, а самому GPU нужна поддержка ROCm для вашей модели и движка. Протестируйте один такой GPU в течение месяца, прежде чем масштабироваться.

Кому подойдёт CryptGPU

CryptGPU сдаёт в аренду выделенные GPU-серверы помесячно: 1, 2, 4 или 8 GPU (карты GeForce — 1, 2 или 4), root-доступ по SSH, никаких сторонних арендаторов на ваших картах. Каждый GPU стоит примерно на 30% ниже медианной публичной цены по требованию среди 40 GPU-облаков — от 199 $ в месяц за RTX 5080. Оплата — в Bitcoin, Ethereum, USDT, Monero или Litecoin, без KYC, а сервер будет онлайн менее чем через 10 минут после подтверждения платежа в блокчейне.

При заказе мы можем без дополнительной платы предустановить vLLM, SGLang или Ollama с Open WebUI и модель из нашего каталога: на странице открытых моделей указан сервер, который нужен каждой модели, а настройка описана в разделе про инференс-сервер.

Помесячный сервер подходит для эндпоинта, который работает весь месяц. Это неудачный выбор для нескольких часов тестов в неделю — тогда почасовое облако обходится дешевле, — для кластеров из нескольких серверов, объединённых через InfiniBand, которых мы не предлагаем, или для управляемого API для инференса. Поскольку мы не публикуем бенчмарки, надёжный способ выбрать между двумя GPU — арендовать один на месяц и измерить число токенов в секунду на своей модели.

Вопросы о GPU для инференса LLM

Что важнее для инференса LLM: объём VRAM или пропускная способность памяти?

Сначала VRAM: модель, которая не помещается, не запустится или её придётся делить. Среди GPU, которые её вмещают, пропускная способность определяет, насколько быстро идёт вывод в каждом диалоге.

Какой GPU-сервер для модели 70B самый дешёвый?

По нашему правилу подбора модели 70B нужно около 84 ГБ в FP8 (1× RTX PRO 6000, 959 $ в месяц) и около 46 ГБ в 4-битном формате (2× RTX 5090, 658 $). H200 стоит дороже, но его пропускная способность втрое выше, чем у RTX PRO 6000.

Подходит ли RTX 5090 для инференса LLM?

Для моделей примерно до 45B в 4-битном формате — да: 32 ГБ при 1,8 ТБ/с за 329 $ в месяц. В серверы GeForce устанавливается до четырёх карт, связанных через PCIe, а не NVLink.

Нужен ли NVLink, чтобы запустить LLM?

Только чтобы разделить одну модель между несколькими GPU с помощью тензорного параллелизма. Модель, которая помещается на один GPU, или отдельные копии на отдельных GPU его не используют.

Подходит ли AMD MI355X для инференса LLM?

На бумаге он даёт больше всего памяти на доллар в нашей линейке: 288 ГБ при 8 ТБ/с за 1 409 $ в месяц, 4,89 $ за ГБ. На практике всё зависит от поддержки ROCm для вашей модели и движка: см. MI355X vs H200.