AMD MI355X: 288 ГБ HBM3E по цене на уровне H100

Технические характеристики

MI355X — флагман AMD на архитектуре CDNA 4 (кодовое имя gfx950). Он собран из восьми вычислительных чиплетов, дающих в сумме 256 вычислительных блоков. Приведённые ниже цифры — это пиковые характеристики по данным AMD.

В сравнении с решениями NVIDIA это память уровня B300, пропускная способность в 1,67 раза выше, чем у H200, и больше FP64, чем у любого GPU NVIDIA в нашем парке: H100 и H200 достигают 67 TFLOPS на своих тензорных ядрах.

Почему цена такая низкая

Наш MI355X стоит 1 409 $ за GPU в месяц — против 1 779 $ за H100 и 2 279 $ за H200. Это соответствует тому же правилу, что и для всех GPU, которые мы сдаём в аренду: 30% ниже рыночного ориентира, а сам этот ориентир просто низкий. Ни один провайдер в нашем обзоре не публикует цену по требованию на MI355X. Две найденные нами публичные стартовые цены — 2,59 $ и 2,95 $ за GPU-час; это ниже медианного показателя H100, равного 3,49 $.

Наше объяснение того, почему это так:

• Ограниченная доступность по требованию. Мало провайдеров продают MI355X с оплатой по часам. В нашем обзоре предложения были в виде запросов цены или стартовых тарифов, поэтому публичный ориентир задают самые низкие заявленные цены, а не широкий рынок по требованию.
• Более молодая программная экосистема. У CUDA большая фора по времени, и некоторые инструменты и ядра существуют только для GPU NVIDIA. Команды, которые не могут перенести свой стек, не конкурируют за мощности AMD, что удерживает цены низкими.

Ни один из этих факторов не говорит что-либо о самом оборудовании. Оба — повод проверить своё программное обеспечение перед переходом.

Память на доллар в сравнении с H100 и H200

В пересчёте на ГБ MI355X стоит 30% от цены H200 и 22% от цены H100: за один доллар вы получаете в 3,3 раза больше памяти, чем у H200, и в 4,5 раза больше, чем у H100. В пересчёте на GPU он на 21% дешевле H100, при этом памяти в нём в 3,6 раза больше.

Где он выигрывает: инференс, ограниченный памятью

Инференс больших моделей обычно ограничен памятью: модель должна помещаться целиком, а каждый сгенерированный токен требует чтения весов и KV-кэша. Именно здесь окупаются 288 ГБ при 8 ТБ/с. Возьмём Llama 3.1 405B в FP8. По нашему правилу подбора конфигурации (1,2 ГБ на миллиард параметров, из которых доступно для использования 92%) получается 486 ГБ:

Два MI355X вмещают модель за 35% от цены двух B300, 31% от цены четырёх H200 и 20% от цены восьми H100. Та же картина повторяется для DeepSeek-V3 или R1 в FP8 (805 ГБ по тому же правилу): 4× MI355X за 5 636 $ в месяц против 4× B300 за 16 076 $ или 8× H200 за 18 232 $. А Llama 3.1 70B в BF16 (168 ГБ) помещается на одном MI355X, тогда как пользователям CUDA нужны два RTX PRO 6000 (1 918 $), один B300 (4 019 $) или два H200 (4 558 $).

Помещаться в память — не то же самое, что скорость. Число токенов в секунду зависит от движка, ядер и способа разбиения модели, поэтому проверяйте свою модель в собственном бенчмарке перед переносом рабочей нагрузки в продакшен. Метод подбора конфигурации объясняется в статье сколько видеопамяти нужно вашей модели.

Что уже работает на ROCm

• ROCm указывает MI355X (gfx950) как поддерживаемый на Ubuntu 22.04 и 24.04, RHEL 9 и 10, SLES 15 SP7, Debian 13 и Oracle Linux 9 и 10.
• PyTorch публикует сборки (wheels) для ROCm, а AMD поддерживает готовые Docker-образы rocm/pytorch.
• vLLM поддерживает серию MI350 (gfx950) с ROCm 7.0 или новее, поставляет сборки для ROCm и Docker-образы, а его FP8 KV-кэш (fp8_e4m3) работает на GPU AMD.
• SGLang публикует Docker-образы, собранные для GPU класса MI350.

Для кода на PyTorch без собственных CUDA-ядер, а также для инференса моделей с открытыми весами через vLLM или SGLang, это — поддерживаемые пути. Вы получаете root-доступ по SSH и устанавливаете собственный стек; шаги настройки, от драйвера до первого контейнера, описаны в разделах AMD ROCm и контейнеры.

Что нужно учитывать перед переходом

• Только для CUDA. Инструменты NVIDIA, такие как TensorRT-LLM, не работают на GPU AMD, а некоторые библиотеки поставляются только в сборках для CUDA. Составьте список всех зависимостей и проверьте каждую.
• Собственные ядра. Написанные вручную CUDA-ядра нужно портировать на HIP. Инструмент AMD HIPIFY переносит большую часть кода, но не весь, и портированные ядра всё равно требуют тестирования и настройки.
• Только свежие версии. MI355X требует свежего стека: vLLM нужен ROCm 7.0 или новее, а библиотеки должны включать ядра для gfx950. Контейнеры, собранные только для более старых GPU AMD, могут не подойти.
• Квантованные форматы. MI355X поддерживает FP8 и открытые MX-форматы (MXFP8, MXFP6, MXFP4). Прежде чем закладывать это в план, убедитесь, что формат вашего квантованного чекпоинта поддерживается в ROCm.
• Пропускная способность масштабирования. Семь линков Infinity Fabric дают 1,07 ТБ/с — больше, чем 900 ГБ/с у NVLink 4 на H100 и H200, и меньше, чем 1,8 ТБ/с у NVLink 5 на B200 и B300.

Когда выбирать MI355X

Выбирайте MI355X, когда решающий фактор — память на доллар: крупные модели в FP8 или BF16, длинные контексты, несколько моделей на одном сервере или задачи FP64 рядом с ИИ. Выбирайте H100 или H200, если ваш стек привязан к CUDA, если вы зависите от TensorRT-LLM или собственных CUDA-ядер, или если модель спокойно помещается в 80 или 141 ГБ.

Если не уверены — арендуйте один MI355X на месяц и проведите собственный бенчмарк, а затем заказывайте 2, 4 или 8 GPU по той же цене за GPU. Смотрите страницу MI355X, сравнивайте его с H100 и H200, читайте наше сравнение флагманов или настройте сервер.