Arkitekturavgjørelse
En GPU-server og en administrert endepunkt er ulike produkter. Forespørselen må angi driftsmodellen og enheten som brukes til å måle forbruk.
GLOBALATLAS AI · AI-inferens
AI-inferens
Inferens kjører en trent modell. Inndata-størrelse, batching og kontekstlengde bestemmer arbeidsminne og modellvekter.
Lav latency eller batch-behandling?
- 01
Interaktive forespørsler: mål første respons-latens
- 02
Batchjobber: målte innspill per tidsintervall
- 03
Følg med på toppminne for det valgte inndata
Krav til konfigurasjon
Velg mellom en GPU-VM du driver og en administrert endepunkt. Den offentlige Finder sjekker for øyeblikket GPU-VM-tilbud, ikke en administrert inferens SLA.