Architectuurbesluit
Een GPU-server en een beheerde endpoint zijn verschillende producten. De aanvraag moet het operationele model en de gebruikte eenheid voor verbruik aangeven.
GLOBALATLAS AI · AI-inferentie
AI inferentie
Inferentie voert een getraind model uit. Invoergrootte, batching en contextlengte bepalen werkgeheugen en modelgewichten.
Latency of batchverwerking?
- 01
Interactieve verzoeken: meet de eerste responstijd
- 02
Batchtaken: meet voltooide invoer per tijdsinterval
- 03
Houd de piekgeheugengebruik bij voor de gekozen invoerlengte
Vereisten voor configuratie
Kies tussen een GPU-VM die u beheert en een beheerde endpoint. De openbare Finder controleert momenteel GPU-VM-aanbiedingen, niet een beheerde inferentie-SLA.