Decisão de arquitetura
Um servidor GPU e um endpoint gerenciado são produtos diferentes. A solicitação deve nomear o modelo operacional e a unidade usada para medir o consumo.
GLOBALATLAS AI · Inferência de IA
Inferência de IA
A inferência executa um modelo treinado. Tamanho de entrada, agrupamento e comprimento do contexto determinam a memória de trabalho e os pesos do modelo.
Latência ou throughput em lote?
- 01
Solicitações interativas: meça a latência da primeira resposta
- 02
Tarefas em lote: medir entradas concluídas por intervalo de tempo
- 03
Monitorar uso máximo de memória para o comprimento de entrada escolhido
Requisitos de configuração
Decida entre uma VM GPU que você opera e um endpoint gerenciado. O Finder público atualmente verifica ofertas de VMs GPU, não um SLA de inferência gerenciada.