Odluka o arhitekturi
GPU poslužitelj i upravljana točka su različiti proizvodi. Zahtjev mora navesti operativni model i jedinicu za mjerenje potrošnje.
GLOBALATLAS AI · AI inferencija
Inferencija AI
Inferencija izvršava trenirani model. Veličina ulaza, serijsko procesiranje i duljina konteksta određuju radnu memoriju i težine modela.
Kašnjenje ili batch propusnost?
- 01
Interaktivni zahtjevi: izmjerite vrijeme prvog odgovora
- 02
Poslovi u seriji: mjerenje dovršenih ulaza po vremenskom intervalu
- 03
Pratite vršnu memoriju za odabrani ulazni duljinu
Zahtjevi za konfiguraciju
Odlučite između GPU VM-a kojim upravljate i upravljanog krajnjeg točke. Javni Finder trenutno provjerava ponude GPU VM-a, a ne upravljanog SLA za inferencu.