Decisione di architettura
Un server GPU e un endpoint gestito sono prodotti diversi. La richiesta deve indicare il modello operativo e l'unità usata per misurare il consumo.
GLOBALATLAS AI · Inferenza AI
Inferenza AI
L’inferenza esegue un modello addestrato. La dimensione di input, il batching e la lunghezza del contesto determinano la memoria di lavoro e i pesi del modello.
Latenza o throughput batch?
- 01
Richieste interattive: misura la latenza della prima risposta
- 02
Lavori batch: misura gli input completati per intervallo di tempo
- 03
Monitora la memoria di picco per la lunghezza di input scelta
Requisiti di configurazione
Decidi tra una VM GPU che gestisci e un endpoint gestito. Attualmente il Finder pubblico verifica le offerte di VM GPU, non un SLA di inferenza gestito.