Configurație
Un model de raționament DeepSeek separat, distilat folosind ieșiri DeepSeek-R1 pe o bază Qwen2.5-14B. Nu este modelul complet 671B DeepSeek-R1 și nici un pachet de două modele.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametri / greutăți
- 14.77B · — GB
- Formatul greutăților
- BF16
- Context / concurență
- 8192 / 1
- Limită de context a checkpointului
- 131072
- Memorie GPU estimată
- Requires an updated assessment
- RAM / disc planificate
- ≥ 64 GB / ≥ 150 GB
- Rulare de servire
- vLLM · HTTP API
- Licență
- MIT; model de bază Apache-2.0
Estimarea include greutățile BF16, cache-ul KV, spațiul de lucru de 2 GB și marja de siguranță 15% GPU. RAM și discul sunt cerințe de planificare GlobalAtlas, nu minimele oficiale ale dezvoltatorului. Tipul discului, driverele și runtime-ul sunt confirmate înainte de instalare. Bugetul de servire de 8192 tokeni include intrarea și ieșirea; un context mai lung sau mai multe solicitări simultane necesită redimensionare și un test de încărcare.
Cardul original al modelului