Arkitekturbeslutning
En GPU-server og en administreret endpoint er forskellige produkter. Anmodningen skal angive driftsmodellen og den enhed, der bruges til at måle forbruget.
GLOBALATLAS AI · AI-inference
AI-inferens
Inference udfører en trænet model. Input-størrelse, batching og kontekstlængde bestemmer arbejdshukommelse samt modelvægte.
Lav latenstid eller batchgennemløb?
- 01
Interaktive forespørgsler: mål første svartid
- 02
Batchjobs: målte indgange pr. tidsinterval
- 03
Overvåg peak-hukommelse for det valgte inputlængde
Krav til konfiguration
Vælg mellem en GPU-VM, du driver, og en administreret endpoint. Den offentlige Finder tjekker i øjeblikket GPU-VM-tilbud, ikke en administreret inferencetjeneste.