Décision d’architecture
Utilisez la fiche modèle sélectionnée pour le dimensionnement. Une estimation de mémoire pour des poids denses de 7B ne peut pas être réutilisée pour une autre version de Mistral.
GLOBALATLAS AI · Infrastructure pour Mistral
Infrastructure pour Mistral
Mistral 7B et autres versions Mistral diffèrent en taille et architecture. Sélectionnez une fiche modèle spécifique avant de dimensionner le matériel.
Associez l'architecture Mistral au runtime
- 01
Carte de modèle exacte et révision du poids
- 02
Architecture dense ou mélange d'experts
- 03
Runtime, précision et contexte supportés
Exigences de configuration
Un modèle dense de 7B à 16 bits contient environ 14 GB décimaux de poids seul. Laissez de la mémoire pour l’exécution et le contexte ; ne déduisez pas le nombre d’utilisateurs de cette estimation.