Konfiguracija
Poseban model za zaključivanje DeepSeek, destiliran pomoću izlaza DeepSeek-R1 na osnovi Qwen2.5-14B. To nije puni model 671B DeepSeek-R1 niti paket od dva modela.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametri / težine
- 14.77B · — GB
- Format težina
- BF16
- Kontekst / istodobnost
- 8192 / 1
- Ograničenje konteksta checkpointa
- 131072
- Procijenjena memorija GPU
- Requires an updated assessment
- Planirani RAM / disk
- ≥ 64 GB / ≥ 150 GB
- Runtime za posluživanje
- vLLM · HTTP API
- Licenca
- MIT; bazni model Apache-2.0
Procjena uključuje težine BF16, KV cache, radni prostor od 2 GB i rezervu od 15% GPU. Zahtjevi RAM i diska su GlobalAtlas za planiranje, a ne službeni minimumi developera. Vrsta diska, driveri i runtime potvrđuju se prije instalacije. Proračun posluživanja od 8192 tokena uključuje ulaz i izlaz; dulji kontekst ili više istodobnih zahtjeva zahtijeva prilagodbu veličine i test opterećenja.
Izvorna kartica modela