Decisão de arquitetura
Não dimensione toda a família Llama a partir de um exemplo de 8B. O cache de contexto e o overhead de runtime são adicionais à memória de peso.
GLOBALATLAS AI · Infraestrutura para Llama
Infraestrutura para Llama
Llama é uma família de modelos. Llama 3.1 8B é um exemplo de um modelo de 8 bilhões de parâmetros, não uma promessa de capacidade para todas as versões do Llama.
Preparar um perfil de implantação Llama
- 01
Versão do modelo, tamanho e licença
- 02
Precisão e memória de runtime além dos pesos
- 03
Modelo de chat, contexto e prompts de avaliação
Requisitos de configuração
Para pesos densos de 8B a 16 bits, a estimativa de peso apenas é 16 GB decimal. Runtime e cache KV requerem memória adicional; verifique a licença do modelo.