Decisió d'arquitectura
Per a entrenament multi-GPU, especifica la topologia i els requisits de comunicació. Afegir números de memòria de servidors no relacionats no és un disseny de clúster.
GLOBALATLAS AI · Formació d'IA
Formació en IA
L'entrenament emmagatzema activacions, gradients i estat de l'optimitzador a més de pesos del model. El rendiment del conjunt de dades i els punts de control també són importants.
Una sessió d'entrenament reproduïble
- 01
Versioneu el conjunt de dades i el codi d'entrenament
- 02
Mesura un lot d'entrenament incloent l'estat de l'optimitzador
- 03
Escriviu punts de control i verifiqueu la recuperació de l'execució
Requisits de configuració
Mesura un lot representatiu. L'entrenament multi-GPU requereix una interconnexió explícita i una configuració distribuïda; aquesta versió comprova les ofertes de GPU individual.