BTC
ETH
USDT
XMR
LTC
Решения · Дообучение
GPU-серверы для дообучения.
LoRA, QLoRA или полное дообучение моделей с открытыми весами на выделенных GPU: помесячно, а не почасово.
- 1× H200оптимальный вариант
- 141 ГБПамять GPU
- 2 279 $в месяц
- От 959 $самый дешёвый вариант
Что нужно GPU для дообучения.
- 1
Достаточно памяти для базовой модели
LoRA обучает небольшие матрицы адаптеров, но всё равно загружает полную базовую модель: около 2 байт на параметр в BF16 или около 0,5 при 4-битном QLoRA.
- 2
Запас для длинных последовательностей
Активации растут с длиной последовательности и размером батча. Оставляйте запас сверх весов или используйте чекпоинтинг градиентов.
- 3
Время для итераций
Дообучение — процесс итеративный: очистка данных, запуски, оценка, повторные запуски. Сервер с помесячной оплатой остаётся вашим между запусками, с сохранёнными данными и средой.
Лучшие GPU для дообучения.
Первый вариант подходит лучше всего; два других жертвуют скоростью, памятью или экосистемой ради цены.
-
Лучший вариант
1× NVIDIA H200
141 ГБ HBM3e · 4,8 ТБ/с за GPU
- Интерконнект
- Один GPU
- vCPU · RAM
- 24 · 256 ГБ
- NVMe
- 3,84 ТБ
2 279 $/мес.
3 259 $ -
Альтернатива
1× NVIDIA RTX PRO 6000
96 ГБ GDDR7 ECC · 1,6 ТБ/с за GPU
- Интерконнект
- Один GPU
- vCPU · RAM
- 24 · 180 ГБ
- NVMe
- 1,92 ТБ
959 $/мес.
1 380 $ -
Альтернатива
1× NVIDIA H100
80 ГБ HBM3 · 3,35 ТБ/с за GPU
- Интерконнект
- Один GPU
- vCPU · RAM
- 20 · 200 ГБ
- NVMe
- 2 ТБ
1 779 $/мес.
2 548 $
Какой размер сервера нужен для вашей модели?
LoRA в BF16 — это ≈3 байта на параметр, QLoRA — ≈0,75 байта на параметр, в обоих случаях с запасом на активации и адаптеры.
| Размер модели | Дообучение LoRA (BF16) | Дообучение QLoRA |
|---|---|---|
| 8B≈ 24 ГБ / 6 ГБ | 1× RTX 5090329 $/мес. | 1× RTX 5080199 $/мес. |
| 14B≈ 42 ГБ / 11 ГБ | 2× RTX 4090538 $/мес. | 1× RTX 5080199 $/мес. |
| 32B≈ 96 ГБ / 24 ГБ | 4× RTX 50901 316 $/мес. | 1× RTX 5090329 $/мес. |
| 70B≈ 210 ГБ / 53 ГБ | 1× MI355X1 409 $/мес. | 2× RTX 5090658 $/мес. |
| 120B≈ 360 ГБ / 90 ГБ | 2× MI355X2 818 $/мес. | 4× RTX 50901 316 $/мес. |
| 235B≈ 705 ГБ / 176 ГБ | 4× MI355X5 636 $/мес. | 1× MI355X1 409 $/мес. |
Самая дешёвая конфигурация, вмещающая модель по нашей приближённой оценке — доступно 92% видеопамяти. Попробуйте другие размеры · Видеопамять популярных открытых моделей
ПО для дообучения и наши советы.
- Hugging Face TRL + PEFTSFT, DPO и адаптеры LoRA/QLoRA.
- AxolotlДообучение на основе конфигурационных файлов, на базе PyTorch.
- UnslothЭкономичные по памяти ядра LoRA и QLoRA для GPU NVIDIA.
- bitsandbytes4-битное и 8-битное квантование, которое использует QLoRA.
Советы
- Начните с QLoRA, чтобы проверить данные и гиперпараметры, а затем переходите на LoRA в BF16, если этого требует качество.
- Включите чекпоинтинг градиентов, прежде чем добавлять GPU: часто это снимает необходимость в дополнительной памяти.
- Храните датасеты и адаптеры на локальном NVMe; после каждого запуска выгружайте адаптеры в собственное хранилище.
- При заказе опция «Набор для дообучения» без доплаты устанавливает Axolotl, TRL и PEFT.
Важно знать
QLoRA делает возможным дообучение моделей класса 70B на одном GPU с 96–141 ГБ памяти. Полное дообучение хранит состояния оптимизатора для каждого параметра и требует в 6–8 раз больше памяти: размеры для этого случая — на странице про обучение.
Похожие руководства
- Дообучение LLM с LoRA и QLoRAДообучите открытую LLM с LoRA или QLoRA на собственном GPU-сервере: подберите конфигурацию по нужному объёму памяти, обучите адаптер с TRL или Unsloth, а затем объедините его с моделью или запустите в vLLM.
- Docker с GPU: контейнеры NVIDIA и ROCmКонтейнеры избавляют хост от необходимости хранить версии CUDA, ROCm и фреймворков. На хосте нужны драйвер GPU, Docker и — для GPU NVIDIA — NVIDIA Container Toolkit.
- Локальные NVMe, RAID 0 и перемещение данныхДиски NVMe в вашем сервере — это быстрое локальное хранилище для датасетов, чекпоинтов и кэшей моделей. Настройте их один раз и храните всё, что нельзя потерять, ещё в одном месте.
Дообучение: вопросы и ответы.
Другие нагрузки: Обучение LLM, Инференс и развёртывание, Изображения и видео, 3D-рендеринг и VFX, Исследования и HPC.
Как дешевле всего дообучить модель 70B?
QLoRA на одном GPU с памятью, достаточной для 4-битных весов и активаций: по нашей приблизительной оценке около 53 ГБ, так что одна RTX PRO 6000 (96 ГБ) подходит с запасом.
LoRA или QLoRA?
QLoRA квантует замороженную базовую модель до 4 бит и требует около четверти памяти. LoRA в BF16 проще и может дать чуть более высокое качество. Многие команды прототипируют на QLoRA, а финальную версию делают на LoRA.
Можно ли хранить данные на сервере между запусками?
Да. Сервер и его NVMe-диски принадлежат вам на весь оплаченный месяц; чтобы сохранить их, продлите аренду. Сделайте резервную копию до конца срока.
Начните с 1× H200.
NVIDIA H200, 141 ГБ видеопамяти, за 2 279 $ в месяц.