Vendimmarrja e arkitekturës
Një server GPU dhe një endpoint i menaxhuar janë produkte të ndryshme. Kërkesa duhet të emërojë modelin operativ dhe njësinë e përdorur për matjen e konsumit.
GLOBALATLAS AI · Inferenca AI
Inferenca e AI
Inferenca ekzekuton një model të trajnuar. Madhësia e hyrjes, grupimi dhe gjatësia e kontekstit përcaktojnë kujtesën e punës si dhe peshat e modelit.
Vonesa apo shpejtësia e grupit?
- 01
Kërkesat interaktive: matni vonesën e përgjigjes së parë
- 02
Punë në grup: matni hyrjet e përfunduara për periudhë kohore
- 03
Vëzhgoni përdorimin maksimal të memories për gjatësinë e hyrjes së zgjedhur
Kërkesat e konfigurimit
Vendosni midis një VM GPU që ju operoni dhe një endpoint të menaxhuar. Finder publik aktualisht kontrollon ofertat e VM GPU, jo një SLA të inferencës së menaxhuar.