Arkitekturbeslut
En GPU-server och en hanterad endpoint är olika produkter. Begäran måste ange operativ modell och enheten som används för att mäta förbrukning.
GLOBALATLAS AI · AI-inferens
AI-inferens
Inferens utför en tränad modell. Inmatningsstorlek, batching och kontextlängd bestämmer arbetsminne samt modellvikter.
Latens eller batchgenomströmning?
- 01
Interaktiva förfrågningar: mät första svarstid
- 02
Batchjobb: mät antalet slutförda inmatningar per tidsintervall
- 03
Spåra maximal minnesanvändning för den valda inmatningslängden
Krav på konfiguration
Välj mellan en GPU-VM du driver och en hanterad slutpunkt. Den offentliga Finder kontrollerar för närvarande GPU-VM-erbjudanden, inte en hanterad inferens-SLA.