Konfigurácia
Samostatný reasoning model DeepSeek destilovaný pomocou výstupov DeepSeek-R1 na báze Qwen2.5-14B. Nie je to plný model 671B DeepSeek-R1 ani balík dvoch modelov.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametre / váhy
- 14.77B · — GB
- Formát váh
- BF16
- Kontext / súbežnosť
- 8192 / 1
- Limit kontextu checkpointu
- 131072
- Odhadovaná pamäť GPU
- Requires an updated assessment
- Plánované RAM / disk
- ≥ 64 GB / ≥ 150 GB
- Serving runtime
- vLLM · HTTP API
- Licencia
- MIT; základný model Apache-2.0
Odhad zahŕňa váhy BF16, KV cache, pracovný priestor 2 GB a rezervu 15% GPU. RAM a disk sú plánovacími požiadavkami GlobalAtlas, nie oficiálnymi minimami vývojára. Typ disku, ovládače a runtime sa potvrdzujú pred inštaláciou. Serving rozpočet pre 8192 tokenov zahŕňa vstup aj výstup; dlhší kontext alebo viac súbežných požiadaviek si vyžaduje zmenu veľkosti a záťažový test.
Pôvodná karta modelu