Décision d'architecture
Un serveur GPU et un point de terminaison géré sont des produits différents. La demande doit préciser le modèle d'exploitation et l'unité utilisée pour mesurer la consommation.
GLOBALATLAS AI · Inférence IA
Inférence AI
L'inférence exécute un modèle entraîné. La taille d'entrée, le traitement par lots et la longueur du contexte déterminent la mémoire de travail ainsi que les poids du modèle.
Latence ou débit par lot ?
- 01
Requêtes interactives : mesurer la latence de la première réponse
- 02
Tâches par lot : mesurer les entrées complétées par intervalle de temps
- 03
Suivre la mémoire maximale pour la longueur d'entrée choisie
Exigences de configuration
Décidez entre une VM GPU que vous exploitez et un point de terminaison géré. Le Finder public vérifie actuellement les offres de VM GPU, pas un SLA d'inférence gérée.