Odluka o arhitekturi
GPU server i upravljana točka su različiti proizvodi. Zahtjev mora navesti operativni model i jedinicu za mjerenje potrošnje.
GLOBALATLAS AI · AI inferencija
AI inferencija
Inferencija izvršava trenirani model. Veličina ulaza, serijalizacija i dužina konteksta određuju radnu memoriju i težine modela.
Kašnjenje ili batch prolaznost?
- 01
Interaktivni zahtjevi: mjerenje vremena prvog odgovora
- 02
Batch poslovi: mjerenje završenih ulaza po vremenskom intervalu
- 03
Pratite vršno korištenje memorije za odabrani ulazni duljinu
Zahtjevi za konfiguraciju
Odaberite između GPU VM-a kojim upravljate i upravljanog krajnjeg točke. Javni Finder trenutno provjerava ponude GPU VM-a, a ne upravljanog SLA za inferencu.