Decisão de arquitetura
Não dimensione toda a família Llama a partir de um exemplo de 8B. Cache de contexto e overhead de runtime são adicionais à memória de peso.
GLOBALATLAS AI · Infraestrutura para Llama
Infraestrutura para Llama
Llama é uma família de modelos. Llama 3.1 8B é um exemplo de modelo com 8 bilhões de parâmetros, não uma promessa de capacidade para todas as versões do Llama.
Preparar perfil de implantação Llama
- 01
Versão do modelo, tamanho e licença
- 02
Precisão e memória de runtime além dos pesos
- 03
Modelo de chat, contexto e prompts de avaliação
Requisitos de configuração
Para pesos densos de 8B a 16 bits, a estimativa de peso é 16 GB decimal. Runtime e cache KV precisam de memória adicional; verifique a licença do modelo.