Arkkitehtuuripäätös
MonGPU-koulutuksessa määritä topologia ja viestintävaatimukset. Lisäämällä muistikapasiteettia ei-liittyvistä palvelimista ei muodostu klusteria.
GLOBALATLAS AI · AI-koulutus
AI-koulutus
Koulutus tallentaa aktivointeja, gradientteja ja optimointitilan lisäksi mallin painoja. Datasetin läpäisykyky ja checkpointit ovat myös tärkeitä.
Toistettava koulutuskerta
- 01
Varmista datasetin ja koulutuskoodin versiointi
- 02
Mittaa koulutus-erä sisältäen optimointivälineen
- 03
Kirjaa tarkistuspisteet ja varmista suorituskyvyn palautus
Kokoonpanovaatimukset
Mittaa edustava erä. Monigpu-koulutus vaatii erillisen väylän ja hajautetun kokoonpanon; tämä versio tarkistaa yksittäisen GPU:n tarjonnan.