BTC
ETH
USDT
XMR
LTC
Решения · Обучение LLM
GPU-серверы для обучения LLM.
Предобучение небольших моделей, его продолжение и полное дообучение на 8 GPU — единая цена в месяц.
- 8× B300оптимальный вариант
- 2 304 ГБПамять GPU
- 32 152 $в месяц
- От 11 272 $самый дешёвый вариант
Что нужно GPU для обучения LLM.
- 1
Память для всего состояния обучения
Обучение со смешанной точностью и Adam хранит веса, градиенты и состояния оптимизатора: около 16 байт на параметр без учёта активаций. Поэтому обучение требует в 6–8 раз больше памяти, чем инференс.
- 2
Пропускная способность между GPU
Обучение с параллелизмом по данным и шардированное обучение (FSDP, ZeRO) обмениваются градиентами на каждом шаге. NVLink 5 передаёт 1,8 ТБ/с на каждый GPU на B300 и B200; Infinity Fabric связывает восемь MI355X между собой.
- 3
Быстрое локальное хранилище
Чекпоинты крупных моделей весят сотни ГБ. В каждом сервере есть локальный NVMe, объём которого растёт с числом GPU.
Лучшие GPU для обучения LLM.
Первый вариант подходит лучше всего; два других жертвуют скоростью, памятью или экосистемой ради цены.
-
Лучший вариант
8× NVIDIA B300
2 304 ГБ HBM3e · 8 ТБ/с за GPU
- Интерконнект
- NVLink 5 · 1,8 ТБ/с
- vCPU · RAM
- 256 · 3 072 ГБ
- NVMe
- 30,72 ТБ
32 152 $/мес.
45 960 $ -
Альтернатива
8× NVIDIA B200
1 440 ГБ HBM3e · 8 ТБ/с за GPU
- Интерконнект
- NVLink 5 · 1,8 ТБ/с
- vCPU · RAM
- 224 · 2 304 ГБ
- NVMe
- 30,72 ТБ
27 512 $/мес.
39 360 $ -
Альтернатива
8× AMD MI355X
2 304 ГБ HBM3E · 8 ТБ/с за GPU
- Интерконнект
- Infinity Fabric · 1,07 ТБ/с
- vCPU · RAM
- 256 · 3 072 ГБ
- NVMe
- 30,72 ТБ
11 272 $/мес.
16 176 $
Какой размер сервера нужен для вашей модели?
Полное состояние обучения — это ≈18 байт на параметр (веса, градиенты, состояния Adam и запас под активации). Шардинг через FSDP или ZeRO-3 распределяет его по GPU сервера; чекпоинтинг активаций снижает этот запас.
| Размер модели | Полное обучение (смешанная точность, Adam) |
|---|---|
| 1B≈ 18 ГБ | 1× RTX 4090269 $/мес. |
| 3B≈ 54 ГБ | 2× RTX 5090658 $/мес. |
| 7B≈ 126 ГБ | 1× MI355X1 409 $/мес. |
| 13B≈ 234 ГБ | 1× MI355X1 409 $/мес. |
| 34B≈ 612 ГБ | 4× MI355X5 636 $/мес. |
| 70B≈ 1 260 ГБ | 8× MI355X11 272 $/мес. |
Самая дешёвая конфигурация, вмещающая модель по нашей приближённой оценке — доступно 92% видеопамяти. Попробуйте другие размеры · Видеопамять популярных открытых моделей
ПО для обучения LLM и наши советы.
- PyTorch FSDPШардированный параллелизм по данным, встроенный в PyTorch.
- DeepSpeedСтадии ZeRO 1–3, оффлоуд и конвейерный параллелизм.
- Megatron-LM / NeMoТензорный и конвейерный параллелизм для больших трансформеров на GPU NVIDIA.
- PyTorch для ROCm + RCCLТот же код PyTorch на AMD Instinct MI355X.
Советы
- Перед длительным запуском измерьте интерконнект с помощью nccl-tests (rccl-tests для AMD).
- Записывайте чекпоинты на локальный NVMe, а затем копируйте их с сервера по расписанию.
- Используйте смешанную точность BF16 или FP8; храните мастер-веса в FP32.
- Сделайте резервную копию всего до конца месячного срока: если аренда не продлена, диски очищаются.
- При заказе опция «Обучение на нескольких GPU» без доплаты устанавливает PyTorch с DeepSpeed и FSDP и тесты интерконнекта.
Важно знать
Один сервер с 8 GPU — подходящий размер для предобучения моделей до нескольких миллиардов параметров, продолжения предобучения и полного дообучения. Предобучение модели 70B на триллионе токенов требует порядка 10²³ операций с плавающей точкой: от месяцев до лет на одном сервере. В каждом сервере до 8 GPU; запуски, которым нужно несколько серверов, объединённых высокоскоростной фабрикой, сегодня не входят в наше предложение.
Похожие руководства
- Multi-GPU на одном сервере: топология, NCCL и torchrunОт того, как GPU в сервере соединены между собой, зависит, насколько хорошо масштабируется задача. Перед длительным запуском проверьте топологию, запустите задачу через torchrun и измерьте пропускную способность интерконнекта.
- Локальные NVMe, RAID 0 и перемещение данныхДиски NVMe в вашем сервере — это быстрое локальное хранилище для датасетов, чекпоинтов и кэшей моделей. Настройте их один раз и храните всё, что нельзя потерять, ещё в одном месте.
- Docker с GPU: контейнеры NVIDIA и ROCmКонтейнеры избавляют хост от необходимости хранить версии CUDA, ROCm и фреймворков. На хосте нужны драйвер GPU, Docker и — для GPU NVIDIA — NVIDIA Container Toolkit.
- B300, B200, H200 или MI355X: какой флагман GPU арендоватьПроверенные характеристики B300, B200, H200 и MI355X: память, пропускная способность, связи, FP8, FP4, FP64, цена за ГБ памяти и подходящие задачи.
Обучение LLM: вопросы и ответы.
Другие нагрузки: Дообучение, Инференс и развёртывание, Изображения и видео, 3D-рендеринг и VFX, Исследования и HPC.
Можно ли обучить модель 70B с нуля на одном сервере?
Не за разумное время. Предобучение такого масштаба требует порядка 10²³ операций, а это от месяцев до лет на одном сервере с 8 GPU. Один сервер хорошо подходит для продолжения предобучения, полного дообучения моделей размером примерно до 70B на самых крупных GPU и предобучения небольших моделей.
Какой GPU обучает быстрее всего?
B300 и B200 обладают наибольшей тензорной производительностью и NVLink 5 на 1,8 ТБ/с на каждый GPU. MI355X предлагает те же 288 ГБ памяти по значительно более низкой цене, если ваш код работает на ROCm.
Можно ли объединить несколько серверов?
В каждом сервере до 8 GPU, соединённых внутри сервера. Высокоскоростные фабрики между несколькими серверами сегодня не входят в наше предложение.
Начните с 8× B300.
NVIDIA B300, 2 304 ГБ видеопамяти, за 32 152 $ в месяц.