Decisión de arquitectura
No dimensione toda la familia Llama desde un ejemplo de 8B. La caché de contexto y la sobrecarga en tiempo de ejecución son adicionales a la memoria de peso.
GLOBALATLAS AI · Infraestructura para Llama
Infraestructura para Llama
Llama es una familia de modelos. Llama 3.1 8B es un ejemplo de un modelo de 8 mil millones de parámetros, no una promesa de capacidad para cada versión de Llama.
Prepara un perfil de despliegue de Llama
- 01
Versión del modelo, tamaño y licencia
- 02
Precisión y memoria en tiempo de ejecución más allá de los pesos
- 03
Plantilla de chat, contexto y solicitudes de evaluación
Requisitos de configuración
Para pesos densos de 8B a 16 bits, la estimación solo de peso es de 16 GB decimal. La memoria en tiempo de ejecución y la caché KV necesitan memoria adicional; consulte la licencia del modelo.