Требования Llama 3 к VRAM: Я протестировал 8B и 70B на разных видеокартах

Llama 3 — это зверь. Особенно модель 70B — это значительный скачок по сравнению с Llama 2. Но в отличие от старых времен, когда «большая модель = только дата-центр», у нас теперь есть инструменты получше. Квантование, LoRA и Flash Attention 3 изменили математику.

Я потратил последние 48 часов на запуск различных конфигураций. Я "уронил" свою локальную машину раз пять (ошибки OOM — моя колыбельная), но цифры я получил.

Модель 8B: «Сладкое место» для потребителя

Модель 8B удивительно способная и помещается почти везде. Если у вас есть современная видеокарта, вы, скорее всего, в порядке.

Инференс (Запуск модели)

• Полная точность (FP16/BF16): ~16GB VRAM. Помещается на RTX 3090/4090, 4080 (16GB) и A100/A10.
• 4-битное квантование (Q4_K_M): ~6GB VRAM. Это магическое число. Она работает на RTX 3060, 4060 и даже на некоторых ноутбучных GPU.

Обучение (Файнтьюнинг)

Здесь все становится сложнее.

• Полный файнтьюнинг (Full Fine-tune): Не пытайтесь делать это на потребительских картах. Из-за состояний оптимизатора (AdamW добавляет 2x параметров + градиенты) вам нужно ~60-80GB VRAM. Нужна A100 80GB.
• LoRA / QLoRA: Это то, что вам нужно. С QLoRA (4-битная базовая модель + адаптеры) я обучил Llama 3 8B на одной RTX 4090, используя всего 14GB VRAM. Это было быстро, стабильно, и результаты были на 95% так же хороши, как при полном файнтьюнинге.

Мое мнение: Для 8B королем остается RTX 3090/4090. Она дешевая, быстрая и имеет 24GB VRAM, давая вам запас для больших батчей (batch size) или длинного контекста (8k+).

Модель 70B: Пожиратель VRAM

Это то, что все хотят запустить. Модель 70B соперничает с GPT-4 в некоторых бенчмарках, но она тяжелая.

Инференс

• Полная точность (FP16): ~140GB VRAM. Вам нужны две карты A100 80GB. Дорого (~$3-4/час).
• 4-битное квантование: ~40GB VRAM. Это оптимальный вариант. Она совсем чуть-чуть не влезает в одну 3090/4090.

Хак с «Двойной 3090»:
Это моя любимая сборка. Я купил две б/у RTX 3090 ($700 каждая на eBay) и поставил их в один ПК. С `llama.cpp` или `vLLM`, используя параллелизм тензоров (tensor parallelism), у меня есть суммарно 48GB VRAM.

Llama 3 70B (4-бит) загружается в ~38-40GB. Она работает на скорости ~15-20 токенов/сек, распределяясь по двум картам. Это безумно выгодно по сравнению с облачной арендой, если гонять её 24/7.

Обучение (70B)

Забудьте о потребительских картах. Даже с QLoRA модели 70B нужно ~48-60GB VRAM, чтобы тренироваться комфортно с приличной длиной контекста.

Я пробовал QLoRA на моей сборке с двумя 4090. Это технически работало с экстремальным градиентным чекпоинтингом (gradient checkpointing) и батч-сайзом 1, но это было мучительно медленно.

Решение: Я арендовал 4x A100 80GB на 6 часов (всего $40). Я закончил эпоху мгновенно. Для обучения 70B просто заплатите «налог на облако». Это дешевле вашего времени (и электричества).

Сводная таблица: Какая GPU вам нужна?

Вывод: Покупать или Арендовать?

Если вы просто играетесь с 8B, купите 3090 или 4090. 24GB VRAM — это суперсила, которой вам хватит на годы.

Если вы хотите запускать 70B локально, посмотрите в сторону сборки с двумя GPU (2x 3090/4090). Это весело собирать, и это работает удивительно хорошо.

Но если вам нужно обучать 70B, не геройствуйте. Проверьте цены в реальном времени на нашем трекере. Вы часто можете урвать A100 дешевле $1.50/час на спотовых ценах. Арендовать на пару часов намного дешевле, чем покупать железо на $30,000, которое вы будете использовать лишь изредка.