Décision d'architecture
Ne dimensionnez pas toute la famille Llama à partir d'un exemple 8B. Le cache de contexte et la surcharge d'exécution nécessitent une mémoire supplémentaire en plus de la mémoire de poids.
GLOBALATLAS AI · Infrastructure pour Llama
Infrastructure pour Llama
Llama est une famille de modèles. Llama 3.1 8B est un exemple de modèle à 8 milliards de paramètres, pas une promesse de capacité pour chaque version de Llama.
Préparez un profil de déploiement Llama
- 01
Version du modèle, taille et licence
- 02
Précision et mémoire d’exécution au-delà des poids
- 03
Modèle de chat, contexte et invites d’évaluation
Exigences de configuration
Pour 8B poids denses à 16 bits, l'estimation des poids seule est de 16 Go décimal. La mémoire d'exécution et le cache KV nécessitent une mémoire supplémentaire ; vérifiez la licence du modèle.