Decisión de arquitectura
No dimensione toda la familia Llama desde un ejemplo de 8B. La caché de contexto y la sobrecarga en tiempo de ejecución son adicionales a la memoria de peso.
GLOBALATLAS AI · Infraestructura para Llama
Infraestructura para Llama
Llama es una familia de modelos. Llama 3.1 8B es un ejemplo de un modelo de 8 mil millones de parámetros, no una promesa de capacidad para cada versión de Llama.
Preparar perfil de despliegue Llama
- 01
Versión del modelo, tamaño y licencia
- 02
Precisión y memoria en tiempo de ejecución más allá de los pesos
- 03
Plantilla de chat, contexto y solicitudes de evaluación
Requisitos de configuración
Para pesos densos de 8B a 16 bits, la estimación solo de peso es 16 GB en decimal. La memoria adicional para tiempo de ejecución y caché KV debe considerarse; consulte la licencia del modelo.