Rozhodnutie o architektúre
Server GPU a spravovaný koncový bod sú odlišné produkty. Žiadosť musí uvádzať operačný model a jednotku na meranie spotreby.
GLOBALATLAS AI · AI inferencia
Inferencia AI
Inferencia vykonáva natrénovaný model. Veľkosť vstupu, dávkovanie a dĺžka kontextu určujú pracovnú pamäť aj váhy modelu.
Latencia alebo spracovanie dávok?
- 01
Interaktívne požiadavky: meranie latencie prvého odpovede
- 02
Batch úlohy: meranie dokončených vstupov za časové obdobie
- 03
Sledovať maximálnu pamäť pre zvolenú dĺžku vstupu
Požiadavky na konfiguráciu
Rozhodnite medzi GPU VM, ktorú prevádzkujete, a spravovaným koncom. Verejný Finder momentálne kontroluje ponuky GPU VM, nie spravované SLA inferencie.