Arkitekturbeslutning
Ved multi-GPU træning, angiv topologi og kommunikationskrav. Tilføjelse af hukommelsesnumre fra urelaterede servere er ikke en klynge-design.
GLOBALATLAS AI · AI-træning
AI-træning
Træning gemmer aktiver, gradienter og optimizer-tilstand ud over modelvægt. Datasætgennemløb og checkpoints er også vigtige.
En reproducerbar træningskørsel
- 01
Versionér datasættet og træningskoden
- 02
Mål en træningsbatch inklusive optimizer-tilstand
- 03
Skriv checkpoints og verificer genopretning af kørsel
Krav til konfiguration
Mål en repræsentativ batch. Multi-GPU træning kræver en eksplicit interconnect og distribueret opsætning; denne version tjekker single-GPU tilbud.