Architektūros sprendimas
GPU serveris ir valdomas galutinis taškas yra skirtingi produktai. Užklausa turi nurodyti veikimo modelį ir naudojamą suvartojimo matavimo vienetą.
GLOBALATLAS AI · AI inferencija
AI įžvalgos
Inferencija vykdo apmokytą modelį. Įvesties dydis, partijos dydis ir konteksto ilgis lemia darbo atmintį ir modelio svorius.
Vėlavimas ar partijos pralaidumas?
- 01
Interaktyvūs užsakymai: matuoti pirmojo atsako vėlavimą
- 02
Partijų darbai: išmatuokite užbaigtus įvesties duomenis per laiko intervalą
- 03
Stebėti viršutinę atmintį pasirinktam įvesties ilgiui
Reikalavimai konfigūracijai
Spręskite, ar naudoti GPU VM, kurį valdote, ar valdomą galutinį tašką. Viešasis Finder šiuo metu tikrina GPU VM pasiūlymus, ne valdomas inferencijos SLA.