Выбор архитектуры
Для обучения на нескольких GPU укажите топологию и требования к обмену. Сумма памяти несвязанных серверов не образует кластер.
GLOBALATLAS AI · Обучение AI
Обучение AI
Обучение хранит активации, градиенты и состояние оптимизатора помимо весов. Важны также чтение датасета и контрольные точки.
Воспроизводимый запуск обучения
- 01
Зафиксировать версии датасета и кода
- 02
Измерить batch обучения вместе с состоянием оптимизатора
- 03
Записывать контрольные точки и проверять продолжение запуска
Требования к конфигурации
Измерьте типичный batch. Обучение на нескольких GPU требует межсоединения и распределённой настройки; система проверяет предложения с одной GPU.