Konfigurace
Samostatný reasoning model DeepSeek destilovaný z výstupů DeepSeek-R1 na bázi Qwen2.5-32B. Není to plný model 671B DeepSeek-R1 ani balíček dvou modelů.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Parametry / váhy
- 32.76B · — GB
- Formát vah
- BF16
- Kontext / souběžnost
- 8192 / 1
- Limit kontextu checkpointu
- 131072
- Odhadovaná paměť GPU
- Requires an updated assessment
- Plánovaná paměť RAM / disk
- ≥ 128 GB / ≥ 200 GB
- Servovací runtime
- vLLM · HTTP API
- Licence
- MIT; základní model Apache-2.0
Odhad zahrnuje váhy BF16, KV cache, pracovní prostor 2 GB a rezervu 15% GPU. RAM a disk jsou plánovací požadavky GlobalAtlas, nikoli oficiální minima vývojáře. Typ disku, ovladače a runtime se potvrzují před instalací. Servovací rozpočet pro tokeny 8192 zahrnuje vstup i výstup; delší kontext nebo více současných požadavků vyžaduje přenastavení a zátěžový test.
Původní karta modelu