B300, B200, H200 или MI355X: какой флагман GPU арендовать

Четыре флагмана, четыре профиля

B300 (Blackwell Ultra) — самый мощный GPU, который сегодня можно арендовать по требованию: его предлагают восемь провайдеров, тогда как следующее поколение NVIDIA, Rubin, доступно только по предварительному резервированию. B200 — его предшественник в семействе Blackwell. H200 — это Hopper с 141 ГБ HBM3e. MI355X — нынешний флагман AMD на архитектуре CDNA 4.

Все четыре модели выпускаются в серверах на 1, 2, 4 или 8 GPU, с одинаковой ценой за GPU независимо от размера. Выбор зависит от четырёх факторов: сколько памяти требуют ваша модель и контекст, в каких числовых форматах вы обучаете или запускаете модели, нужен ли вам FP64, и работает ли ваше ПО только на CUDA.

Характеристики рядом друг с другом

Источники: технические характеристики NVIDIA HGX для B300 и B200 (значения для платы на 8 GPU разделены на восемь; NVIDIA указывает FP8 с учётом разреженности, поэтому значение в плотном режиме — половина от него), страница продукта NVIDIA H200 (значение FP8 в плотном режиме — половина от значения с разреженностью), технический обзор NVIDIA Blackwell Ultra для максимальной мощности, и документация AMD ROCm для MI355X. Показатели мощности — это максимумы производителя; фактическое ограничение зависит от сервера.

Стоит выделить два момента. Hopper вообще не поддерживает FP4, тогда как Blackwell и CDNA 4 оба аппаратно поддерживают 4- и 6-битные форматы. А у B300 осталось очень мало FP64, что важно для научного кода.

Сколько стоит 1 ГБ видеопамяти

Для инференса и для задач обучения, ограниченных памятью, а не вычислениями, полезная метрика — это месячная цена каждого ГБ памяти GPU. При наших ценах за GPU в месяц:

MI355X стоит 4,89 $ за ГБ — это 35% от цены B300 в 13,95 $ за те же 288 ГБ и 8 ТБ/с. Среди решений NVIDIA B300 — самый дешёвый в пересчёте на ГБ, а B200 — самый дорогой: он стоит 86% от цены B300 при 62,5% его памяти.

Обучение в большом масштабе: B300 или B200

Оба решения Blackwell соединяют GPU друг с другом на скорости 1,8 ТБ/с через NVLink 5 — вдвое быстрее, чем 900 ГБ/с у Hopper. Это важно для распределённого обучения, где градиенты и активации передаются между GPU на каждом шаге.

По данным NVIDIA HGX, B300 и B200 обеспечивают одинаковую производительность FP8, плотный режим, и BF16 на один GPU. Различия — в памяти (288 ГБ против 180 ГБ) и в FP4: заявленная производительность B300 — 13,5 PFLOPS FP4, плотный режим, на GPU, у B200 — 9 PFLOPS. Для обучения в FP8 или BF16, укладывающегося в 180 ГБ на GPU, B200 даёт такую же заявленную производительность на 14% дешевле (3 439 $ против 4 019 $). B300 оправдывает свою цену, когда более крупные батчи, более длинные последовательности или более крупные модели требуют дополнительной памяти, либо когда вы обучаете или запускаете модели в FP4.

Про настройку узла на 8 GPU — см. настройка нескольких GPU.

Инференс с длинным контекстом: решает память

Во время инференса каждый токен контекста хранит свои ключи и значения в памяти GPU. Для Llama 3.1 70B такой KV-кэш занимает 327 680 байт на токен в BF16, поэтому один разговор на 128K токенов требует около 43 ГБ памяти сверх весов модели. Расчёт приведён в нашем руководстве по памяти GPU.

При весах в FP8 (около 70 ГБ) и если считать пригодными для использования 92% памяти, один H200 вмещает модель и один разговор полной длины. B300 или MI355X вмещают модель и примерно четыре таких разговора. Разница усиливается за счёт пропускной способности: генерация каждого токена считывает веса и кэш из памяти, а у всех трёх моделей с 8 ТБ/с пропускная способность в 1,67 раза выше, чем у H200. B200 занимает промежуточное положение: 180 ГБ при 8 ТБ/с — места хватает примерно на два таких разговора.

Научные вычисления на FP64: не B300

Многие коды для симуляций и научных расчётов полагаются на двойную точность, и здесь четыре GPU расходятся сильно. У MI355X заявлена производительность 78,6 TFLOPS в FP64. H200 достигает 34 TFLOPS, или 67 TFLOPS на тензорных ядрах, а B200 — 37 TFLOPS на GPU. B300 отдал большую часть своей производительности FP64: NVIDIA указывает 10 TFLOPS для целой платы HGX B300 на 8 GPU, то есть около 1,25 TFLOPS на GPU.

Для смешанных задач ИИ и HPC MI355X обеспечивает 78,6 TFLOPS за 1 409 $ в месяц, против 67 TFLOPS за 2 279 $ на H200. H200 и B200 — предпочтительный выбор на CUDA. Избегайте B300 для кода, требовательного к FP64.

CUDA или ROCm

Три GPU от NVIDIA работают с экосистемой CUDA в её обычном виде, включая инструменты, доступные только для NVIDIA, такие как TensorRT-LLM. MI355X работает на ROCm, открытом программном стеке AMD, где он заявлен как поддерживаемый под архитектурным именем gfx950. Основные фреймворки уже готовы: PyTorch публикует сборки для ROCm, vLLM поддерживает серию MI350 с ROCm 7.0 или новее, а SGLang публикует Docker-образы, собранные для GPU класса MI350.

Риск кроется в остальной части вашего стека. Пользовательские CUDA-ядра нужно переносить на HIP, а инструмент AMD HIPIFY автоматизирует этот процесс лишь частично, и библиотеки, которые поставляются только со сборками для CUDA, не будут работать. Проверьте каждую зависимость, прежде чем принимать решение, либо сначала протестируйте на одном GPU в течение месяца. Инструкции по настройке — в разделах AMD ROCm и драйверы NVIDIA и CUDA.

Какой GPU арендовать

Начните с памяти и программного обеспечения, затем сравните цену за ГБ и за GPU. У каждого GPU — своя страница: B300, B200, H200 и MI355X. Страница сравнения показывает их рядом друг с другом, а когда вы определились с выбором — настройте сервер.