Keputusan seni bina
Untuk latihan multi-GPU, nyatakan topologi dan keperluan komunikasi. Menambah nombor memori dari pelayan yang tidak berkaitan bukanlah reka bentuk kluster.
GLOBALATLAS AI · Latihan AI
Latihan AI
Latihan menyimpan aktivasi, gradien dan keadaan pengoptimum selain daripada berat model. Throughput dataset dan checkpoint juga penting.
Latihan yang boleh dihasilkan semula
- 01
Versi set data dan kod latihan
- 02
Ukur satu kumpulan latihan termasuk keadaan pengoptimum
- 03
Tulis titik pemeriksaan dan sahkan pemulihan berjalan
Keperluan konfigurasi
Ukur satu kumpulan yang mewakili. Latihan multi-GPU memerlukan sambungan eksplisit dan tetapan teragih; versi ini memeriksa tawaran GPU tunggal.