Mistral-7B-Instruct-v0.3

Configuration

Modèle de texte affiné par instruction avec le jetoniseur v3. L’appel de fonctions nécessite un modèle de chat compatible et l’exécution des outils du côté de l’application.

Modèle

mistralai/Mistral-7B-Instruct-v0.3

Paramètres / poids

7.25B · — GB

Format des poids

BF16

Contexte / simultanéité

8192 / 1

Limite de contexte du point de contrôle

32768

Mémoire GPU estimée

Requires an updated assessment

RAM / disque planifiés

≥ 32 Go / ≥ 100 Go

Exécution de service

vLLM · HTTP API

Licence

Apache-2.0

L’estimation comprend les poids de BF16, le cache KV, l’espace de travail de 2 Go et la marge de mémoire 15% GPU. La mémoire RAM et le disque sont des exigences de planification GlobalAtlas, et non les minimums officiels du développeur. Le type de disque, les pilotes et l’exécution sont confirmés avant l’installation. Le budget d’exécution de 8192 jetons comprend l’entrée et la sortie; un contexte plus long ou davantage de requêtes simultanées nécessite un redimensionnement et un test de charge.

Choisissez votre infrastructure

Sélectionnez le matériel, puis confirmez la disponibilité et l’installation du modèle avec un spécialiste. La commande du serveur seule n’installe pas le modèle.

Nous choisirons avec vous une configuration compatible pour ce modèle.