Rozhodnutí o architektuře
GPU server a spravovaný endpoint jsou odlišné produkty. Žádost musí uvádět provozní model a jednotku měření spotřeby.
GLOBALATLAS AI · Inferenční AI
Inferenční AI
Inference spouští natrénovaný model. Velikost vstupu, dávkování a délka kontextu určují pracovní paměť i váhy modelu.
Zpoždění nebo zpracování dávky?
- 01
Interaktivní požadavky: měření latence první odpovědi
- 02
Hromadné úlohy: měření dokončených vstupů za časové období
- 03
Sledujte maximální využití paměti pro zvolenou délku vstupu
Požadavky na konfiguraci
Rozhodněte se mezi GPU VM, kterou provozujete, a spravovaným koncovým bodem. Veřejný Finder aktuálně kontroluje nabídky GPU VM, nikoli spravované SLA inference.