Architekturentscheidung
Ein GPU-Server und ein verwalteter Endpunkt sind unterschiedliche Produkte. Die Anfrage muss das Betriebsmodell und die Verbrauchsgröße angeben.
GLOBALATLAS AI · KI-Inferenz
KI-Inferenz
Inference führt ein trainiertes Modell aus. Eingabengröße, Batch-Größe und Kontextlänge bestimmen den Arbeitsspeicher sowie die Modellgewichte.
Latenz oder Batch-Durchsatz?
- 01
Interaktive Anfragen: erste Antwortlatenz messen
- 02
Batch-Jobs: gemessene Eingaben pro Zeiteinheit
- 03
Maximalen Speicher für die gewählte Eingabelänge verfolgen
Anforderungen an die Konfiguration
Entscheiden Sie zwischen einer GPU-VM, die Sie betreiben, und einem verwalteten Endpunkt. Der öffentliche Finder prüft derzeit GPU-VM-Angebote, nicht einen verwalteten Inferenz-SLA.