Decisión de arquitectura
Un servidor GPU y un endpoint gestionado son productos diferentes. La solicitud debe nombrar el modelo operativo y la unidad utilizada para medir el consumo.
GLOBALATLAS AI · Inferencia de IA
Inferencia de IA
La inferencia ejecuta un modelo entrenado. El tamaño de entrada, el batching y la longitud del contexto determinan la memoria de trabajo y los pesos del modelo.
¿Latencia o rendimiento por lote?
- 01
Solicitudes interactivas: medir la latencia de la primera respuesta
- 02
Trabajos por lotes: medir entradas completadas por intervalo de tiempo
- 03
Rastrear la memoria máxima para la longitud de entrada elegida
Requisitos de configuración
Decida entre una VM GPU que opera y un punto final gestionado. Actualmente, Finder verifica ofertas de VM GPU, no SLA de inferencia gestionada.