Configuration
Un modèle de raisonnement distinct de DeepSeek, distillé à partir des sorties de DeepSeek-R1 sur une base Qwen2.5-32B. Il ne s’agit pas du modèle complet 671B DeepSeek-R1 ni d’une offre groupée de deux modèles.
- Modèle
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Paramètres / poids
- 32.76B · — GB
- Format des poids
- BF16
- Contexte / simultanéité
- 8192 / 1
- Limite de contexte du point de contrôle
- 131072
- Mémoire GPU estimée
- Requires an updated assessment
- RAM / disque planifiés
- ≥ 128 Go / ≥ 200 Go
- Exécution de service
- vLLM · HTTP API
- Licence
- MIT; modèle de base Apache-2.0
L’estimation comprend les poids de BF16, le cache KV, l’espace de travail de 2 Go et la marge de mémoire 15% GPU. La mémoire RAM et le disque sont des exigences de planification GlobalAtlas, et non les minimums officiels du développeur. Le type de disque, les pilotes et l’exécution sont confirmés avant l’installation. Le budget d’exécution de 8192 jetons comprend l’entrée et la sortie; un contexte plus long ou davantage de requêtes simultanées nécessite un redimensionnement et un test de charge.
Carte originale du modèle