Decisió d'arquitectura
Un servidor GPU i un punt final gestionat són productes diferents. La sol·licitud ha de indicar el model d'operació i l'unitat utilitzada per mesurar el consum.
GLOBALATLAS AI · Inferència d'IA
Inferència d'IA
L’inferència executa un model entrenat. La mida d’entrada, el batching i la llargada del context determinen la memòria de treball i els pesos del model.
Latència o rendiment per lot?
- 01
Requereiximents de resposta inicial per a sol·licituds interactives
- 02
Tasques per lots: mesura d'entrades completes per interval de temps
- 03
Segueix la memòria màxima per a la llargada d'entrada escollida
Requisits de configuració
Decideix entre una VM GPU que operis i un punt final gestionat. Actualment, el Finder públic comprova les ofertes de VM GPU, no un SLA de inferència gestionada.