GLOBALATLAS AI · INFERENCE DÉDIÉE

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct : configuration d’inférence auto-hébergée, poids BF16, contexte de 8192 jetons, mémoire GPU et sélection du serveur.

Configuration

Modèle texte optimisé pour les instructions. La recherche documentaire nécessite un service de récupération/indexation distinct ; les images et l’audio ne sont pas pris en charge par ce point de contrôle.

Modèle: Qwen/Qwen2.5-7B-Instruct
Paramètres / poids: 7.62B · — GB
Format des poids: BF16
Contexte / concurrence: 8192 / 1
Limite de contexte du point de contrôle: 32768
Mémoire GPU estimée: Requires an updated assessment
RAM / disque planifiés: ≥ 32 Go / ≥ 100 Go
Runtime de service: vLLM · HTTP API
Licence: Apache-2.0

L’estimation inclut les poids BF16, le cache KV, 2 Go d’espace de travail et 15% de marge de mémoire GPU. RAM et le disque font partie des exigences de planification GlobalAtlas, et non des minima officiels du développeur. Le type de disque, les pilotes et le runtime sont confirmés avant l’installation. Le budget de service de 8192 jetons inclut l’entrée et la sortie ; un contexte plus long ou davantage de requêtes simultanées nécessite un redimensionnement et un test de charge.

Fiche originale du modèle

Choisissez votre infrastructure

Sélectionnez le matériel, puis confirmez avec un spécialiste la disponibilité et l’installation du modèle. La commande du serveur seule n’installe pas le modèle.

Nous sélectionnerons avec vous une configuration compatible pour ce modèle.

Demander la configuration complète

Indiquez le modèle, la région et la charge prévue. Nos spécialistes confirmeront le matériel, l’installation, la protection des accès et le prix final.

Discuter avec Atlas →

Demander l’aide d’un spécialiste →

Envoyez vos exigences aux spécialistes GlobalAtlas pour un examen individuel de la configuration. Ils vérifieront le matériel, la compatibilité et les conditions, puis répondront par e-mail.