Decizie de arhitectură
Un server GPU și un punct final gestionat sunt produse diferite. Cererea trebuie să menționeze modelul de operare și unitatea folosită pentru măsurarea consumului.
GLOBALATLAS AI · Inferență AI
Inferență AI
Inferența execută un model antrenat. Dimensiunea inputului, loturile și lungimea contextului determină memoria de lucru și greutățile modelului.
Latență sau debit pe lot?
- 01
Solicitări interactive: măsurați latența primei răspunsuri
- 02
Joburi batch: măsoară intrările completate pe intervale de timp
- 03
Monitorizează memoria maximă pentru lungimea de intrare aleasă
Cerinte de configurare
Decide între o VM GPU pe care o operezi și un endpoint gestionat. Finder-ul public verifică în prezent ofertele VM GPU, nu SLA-ul de inferență gestionat.