Odločitev o arhitekturi
Strežnik GPU in upravljana točka sta različna izdelka. Zahteva mora navesti operacijski model in enoto za merjenje porabe.
GLOBALATLAS AI · Umetna inteligenca za inferenco
Inference AI
Inferenca izvaja usposobljen model. Velikost vhodnih podatkov, serije in dolžina konteksta določajo delovno pomnilnik ter teže modela.
Zakasnitev ali obdelava v seriji?
- 01
Interaktivne zahteve: merite čas prvega odziva
- 02
Skupinski nalogi: merjenje zaključenih vhodov na časovni interval
- 03
Spremljajte vrhunsko pomnilniško uporabo za izbrano dolžino vhodnih podatkov
Zahteve za konfiguracijo
Odločite se med VM z GPU, ki ga upravljate, in upravljanim vmesnikom. Trenutno Finder preverja ponudbe GPU VM-jev, ne upravljanega SLA za inference.