Decisão de arquitetura
Especificar revisão do modelo, precisão, contexto e concorrência. Testar a latência de resposta com prompts reais antes de dimensionar a capacidade de produção.
GLOBALATLAS AI · Hospedagem de LLM
Hospedagem de LLM
Um serviço de modelo precisa de pesos na memória, buffers de tempo de execução, cache KV e um endpoint de aplicação.
De uma solicitação de usuário ao output do modelo
- 01
API de aplicação: limites de acesso e requisições
- 02
Servidor de modelos: pesos, contexto e cache KV
- 03
Armazenamento persistente: versões do modelo e logs
Requisitos de configuração
Separar o servidor de modelos da API pública se seus requisitos de escalabilidade e segurança forem diferentes.