Odluka o arhitekturi
GPU server i upravljana tačka su različiti proizvodi. Zahtev mora navesti operativni model i jedinicu za merenje potrošnje.
GLOBALATLAS AI · AI inferencija
AI inferencija
Inferencija izvršava trenirani model. Veličina ulaza, serijacija i dužina konteksta određuju radnu memoriju i težine modela.
Kašnjenje ili prolaz u seriji?
- 01
Interaktivni zahtevi: merite vreme prvog odgovora
- 02
Batch poslovi: merite završene ulaze po vremenskom intervalu
- 03
Pratite vrhunski korišćenje memorije za odabrani ulazni dužinu
Zahtevi za konfiguraciju
Odlučite između GPU VM-a kojim upravljate i upravljanog endpointa. Javni Finder trenutno proverava ponude GPU VM-a, a ne upravljanog SLA za inferencu.