Yapılandırma
DeepSeek çıktılarını kullanarak Qwen2.5-14B tabanı üzerinde damıtılmış ayrı bir DeepSeek-R1 akıl yürütme modeli. Bu, tam 671B DeepSeek-R1 modeli ya da iki modelden oluşan bir paket değildir.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametreler / ağırlıklar
- 14.77B · — GB
- Ağırlık biçimi
- BF16
- Bağlam / eşzamanlılık
- 8192 / 1
- Bağlam sınırı
- 131072
- Tahmini GPU bellek
- Requires an updated assessment
- Planlanan RAM / disk
- ≥ 64 GB / ≥ 150 GB
- Sunum çalışma zamanı
- vLLM · HTTP API
- Lisans
- MIT; temel model Apache-2.0
Tahmin; BF16 ağırlıkları, KV önbelleği, 2 GB çalışma alanı ve 15% GPU payını içerir. RAM ve disk, geliştiricinin resmi asgari değerleri değil, GlobalAtlas planlama gereksinimleridir. Disk türü, sürücüler ve çalışma zamanı kurulum öncesinde doğrulanır. 8192 tokenlık sunum bütçesi giriş ve çıkışı içerir; daha uzun bir bağlam veya daha fazla eşzamanlı istek yeniden boyutlandırma ve yük testi gerektirir.
Orijinal model kartı