アーキテクチャの決定
マルチGPUトレーニングにはトポロジーと通信要件を指定してください。無関係なサーバーからのメモリ追加はクラスター設計には含まれません。
GLOBALATLAS AI · AIトレーニング
AIトレーニング
トレーニングはアクティベーション、勾配、オプティマイザの状態をモデルの重みとともに保存。データセットのスループットとチェックポイントも重要。
再現可能なトレーニング実行
- 01
データセットとトレーニングコードのバージョン管理
- 02
オプティマイザ状態を含むトレーニングバッチを計測
- 03
チェックポイントを書き込み、リカバリーを検証
構成要件
代表的なバッチを計測します。マルチGPUトレーニングには明示的なインターコネクトと分散設定が必要です。このバージョンはシングルGPUの提供状況を確認します。