Qwen2.5-32B-Instruct

Configuration

Modèle de texte affiné par instruction. La recherche de documents nécessite un service de récupération/indexation distinct; les images et l’audio ne sont pas pris en charge par ce point de contrôle.

Modèle

Qwen/Qwen2.5-32B-Instruct

Paramètres / poids

32.76B · — GB

Format des poids

BF16

Contexte / simultanéité

8192 / 1

Limite de contexte du point de contrôle

32768

Mémoire GPU estimée

Requires an updated assessment

RAM / disque planifiés

≥ 128 Go / ≥ 200 Go

Exécution de service

vLLM · HTTP API

Licence

Apache-2.0

L’estimation comprend les poids de BF16, le cache KV, l’espace de travail de 2 Go et la marge de mémoire 15% GPU. La mémoire RAM et le disque sont des exigences de planification GlobalAtlas, et non les minimums officiels du développeur. Le type de disque, les pilotes et l’exécution sont confirmés avant l’installation. Le budget d’exécution de 8192 jetons comprend l’entrée et la sortie; un contexte plus long ou davantage de requêtes simultanées nécessite un redimensionnement et un test de charge.

Choisissez votre infrastructure

Sélectionnez le matériel, puis confirmez la disponibilité et l’installation du modèle avec un spécialiste. La commande du serveur seule n’installe pas le modèle.

Nous choisirons avec vous une configuration compatible pour ce modèle.