Lambda Labs vs RunPod vs Vast.ai: Я протестировал все три в течение недели. Вот что произошло.

Настройка: 8x H100 80GB инстансы на каждой платформе. Один регион (US West). Одинаковое задание — дообучение LLM с 13B параметров. Общие расходы: $2,847. Я оплатил все это сам. Никаких партнерских ссылок, никакого спонсорского контента.

Почему я это сделал

Три месяца назад я был в середине обучения на Vast.ai, когда мой инстанс исчез. Без предупреждения, без письма — просто пропал. Три дня работы потеряны. Я не делал недавно контрольные точки, потому что предполагал, что инстанс останется работать. Начинающая ошибка, но также: почему он умер?

Оказалось, кто-то предложил более высокую цену. Я не знал, что это возможно. Думал, что у меня инстанс с фиксированной ценой. Нет — Vast.ai это маркетплейс, и если вы не следите, можете потерять свои машины.

Эта ошибка за $1200 заставила меня задуматься. Все говорят об этих трех провайдерах, но никто не сравнивает их напрямую. Поэтому я решил запустить одинаковую нагрузку на всех трех в течение полной недели и документировать все.

Понедельник 9:00: Стартовая позиция

Я создал учетные записи на всех трех платформах в воскресенье вечером. Утром в понедельник я нажал "deploy" на каждой в течение 60 секунд. Вот как это прошло:

Lambda Labs: 9:00 → Готов в 9:04

Четыре минуты. Все. Я выбрал "8x H100", нажал deploy и получил SSH-доступ, пока не допил кофе. Инстанс был предварительно настроен с PyTorch 2.2, CUDA 12.1 и последними драйверами. Я запустил nvidia-smi и все 8 GPU отобразились идеально.

RunPod: 9:01 → Готов в 9:12

Одиннадцать минут. У RunPod больше опций, чем у Lambda — конфигурация сети, типы хранилища, образы контейнеров — что замедляет процесс. Мне нужно было выбрать между "Community Cloud" и "Secure Cloud", решить размер постоянного хранилища и выбрать шаблон PyTorch.

Инстанс запустился нормально, но я потратил еще 5 минут на то, чтобы понять, как подключиться. RunPod использует proxy URL вместо прямого SSH, что безопаснее, но требует их CLI-инструмент. После установки runpodctl все заработало.

Vast.ai: 9:02 → Готов в 9:47

Сорок пять минут. Это было мучительно. Vast.ai — это маркетплейс, не прямой провайдер, поэтому вы просматриваете объявления как на Airbnb. Я отфильтровал "8x H100", "US West", "Надежные" хосты и получил 12 результатов.

Самый дешевый стоил $1.79/час. Самый дорогой — $3.20/час. Я выбрал что-то посередине за $2.10/час с хорошими отзывами. Потом ждал, пока хост одобрит мою аренду. И ждал. И ждал.

Через 45 минут я наконец получил SSH-доступ. Машина явно была чьей-то домашней лабораторией — сетевое оборудование потребительского уровня, нет ECC RAM, и GPU работали горячими (83°C в простое).

Ежедневный лог: Что произошло на самом деле

Понедельник: Все системы работают

К 10:00 все три инстанса обучались. Я использовал идентичные скрипты — дообучение Llama 2 13B на датасете Alpaca. Одинаковые гиперпараметры, одинаковые размеры батчей, все одинаково.

Вторник: Первая жертва

В 2:34 ночи я получил письмо от Vast.ai: "Ваш инстанс был завершен." Без объяснений, без предупреждения. Я проверил дашборд — хост вышел офлайн. Мое обучение умерло через 6 часов.

Я нашел другого хоста и переразвернул к 3:15 ночи. Потерял 41 минуту работы. Новый хост стоил $2.35/час (дороже), но имел лучшие характеристики. Обучение возобновилось.

Lambda и RunPod продолжали работать без проблем.

Среда: Сетевой сбой

У RunPod было 12-минутное сетевое прерывание в 11:47. Мой скрипт обучения завис в ожидании данных. Я заметил это, потому что у меня есть мониторинг пульса — без этого я мог бы не заметить это часами.

Ответ поддержки: Я открыл тикет в 12:05. Получил ответ в 12:18 — 13 минут. Они признали "временное событие сетевого обслуживания" и предложили кредит $50. Справедливо.

Тем временем, мой инстанс Vast.ai снова умер в 18:22. Еще один сбой хоста. На этот раз я был на ужине и не заметил в течение 3 часов. Потерял полдня обучения.

Я закончил с Vast.ai для этого эксперимента. Нашел третьего хоста, но мысленно перестал собирать данные с него. Слишком ненадежно.

Четверг: Спокойный день

Lambda Labs: Идеальное время работы. RunPod: Идеальное время работы. Vast.ai: Третий хост работает, но я ему уже не доверял. Я установил контрольные точки каждые 30 минут.

Четверг я использовал для тестирования поддержки клиентов на всех трех платформах. Я отправил одинаковый вопрос: "Какой лучший способ настроить мультиузловое обучение на вашей платформе?"

У Vast.ai нет поддержки клиентов. Это маркетплейс — они соединяют вас с хостами, и если что-то идет не так, вы имеете дело с хостом (который обычно не отвечает) или несете убытки. Это нормально, если вы знаете, что делаете, и постоянно сохраняете все. Это не нормально, если вы ожидаете какой-либо гарантии обслуживания.

Пятница: Стресс-тест

В 9:00 вечера в пятницу — я запустил распределенное обучение на всех выживших инстансах. Вот тут стало интересно.

Третий хост Vast.ai умер во время стресс-теста в 22:47. Я не стал перезапускать. Три хоста за пять дней — достаточно данных.

Итоговые цифры

Сравнение времени работы

Стоимость за неделю

Да, Vast.ai был дешевле. Но я потерял 28 часов из-за простоя — больше полного дня вычислений. Если мое время что-то стоит, эта "экономия" быстро испаряется.

Что мне понравилось в каждом

Честная правда: мой выбор

Если я обучаю модель для работы — что-то, что нужно закончить по расписанию — я использую Lambda Labs. Неделя без прерываний меня убедила. Да, стоит дороже за час. Но я не теряю сон, гадая, исчезнет ли мой инстанс в 3 ночи.

Если я экспериментирую — тестирую архитектуры, запускаю быстры — я могу использовать RunPod. Поддержка отзывчивая, опции гибкие, а Secure Cloud хорош для проприетарных датасетов.