Decisione di architettura
Profilare la fase più lenta prima di aggiungere capacità GPU. Un collo di bottiglia nel caricamento dati può lasciare inattivo un acceleratore.
GLOBALATLAS AI · Infrastruttura machine learning
Infrastruttura di machine learning
Separa preparazione dati, addestramento e distribuzione; queste fasi richiedono profili di calcolo e archiviazione diversi.
Preparazione, addestramento e valutazione dei dati
- 01
Pipeline CPU per validazione e preprocessing
- 02
Host di addestramento e checkpoint persistenti
- 03
Set di dati di valutazione isolato dagli input di addestramento
Requisiti di configurazione
Usa CPU per preparazione, GPU quando il framework supporta l'accelerazione e archiviazione persistente per dataset e checkpoint. Misura il batch di training prima di scegliere la VRAM.