Arhitektūras lēmums
GPU serveris un pārvaldīts galapunkts ir dažādi produkti. Pieprasījumā jānorāda darbības modelis un patērētās vienības veids.
GLOBALATLAS AI · AI inferenču pakalpojumi
AI inferenču
Inferenču izpilda apmācītu modeli. Ievades lielums, partijas un konteksta garums nosaka darba atmiņu un modeļa svaru.
Aizture vai partijas caurlaidība?
- 01
Interaktīvas pieprasījumi: mēra pirmās atbildes aizkavi
- 02
Partijas darbi: mēra pabeigtos ievadus katrā laika intervālā
- 03
Sekojiet maksimālajai atmiņai izvēlētajam ievades garumam
Konfigurācijas prasības
Izlemiet starp GPU VM, ko operējat, un pārvaldītu galapunktu. Publiskais Finder pašlaik pārbauda GPU VM piedāvājumus, nevis pārvaldītu inferenču SLA.