Odločitev o arhitekturi
Za usposabljanje z več GPU-ji določite topologijo in zahteve za komunikacijo. Dodajanje številk pomnilnika z nepovezanih strežnikov ni zasnova gruče.
GLOBALATLAS AI · Usposabljanje umetne inteligence
Usposabljanje AI
Usposabljanje shranjuje aktivacije, gradientne in stanje optimizatorja poleg teže modela. Pretok podatkov naborov in točke preverjanja sta prav tako pomembna.
Ponovljiv trening
- 01
Različica podatkovnega seta in kode za usposabljanje
- 02
Izmerite paket za usposabljanje, vključno z stanjem optimizatorja
- 03
Zapisujte kontrolne točke in preverjajte obnovo izvajanja
Zahteve za konfiguracijo
Izmerite reprezentativni paket. Usposabljanje z več GPU-ji zahteva eksplicitno povezavo in razpršeno nastavitev; ta različica preverja ponudbe z enim GPU-jem.