Configuration
Un modèle de raisonnement DeepSeek distinct, distillé à partir des sorties DeepSeek-R1 sur une base Qwen2.5-32B. Ce n’est pas le modèle complet 671B DeepSeek-R1 ni un ensemble de deux modèles.
- Modèle
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Paramètres / poids
- 32.76B · — GB
- Format des poids
- BF16
- Contexte / concurrence
- 8192 / 1
- Limite de contexte du point de contrôle
- 131072
- Mémoire GPU estimée
- Requires an updated assessment
- RAM / disque planifiés
- ≥ 128 Go / ≥ 200 Go
- Runtime de service
- vLLM · HTTP API
- Licence
- MIT ; modèle de base Apache-2.0
L’estimation inclut les poids BF16, le cache KV, 2 Go d’espace de travail et 15% de marge de mémoire GPU. RAM et le disque font partie des exigences de planification GlobalAtlas, et non des minima officiels du développeur. Le type de disque, les pilotes et le runtime sont confirmés avant l’installation. Le budget de service de 8192 jetons inclut l’entrée et la sortie ; un contexte plus long ou davantage de requêtes simultanées nécessite un redimensionnement et un test de charge.
Fiche originale du modèle