Konfiguration
En separat DeepSeek-resonemangsmodell destillerad med DeepSeek-R1-utdata på en Qwen2.5-14B-bas. Det är inte den fullständiga 671B DeepSeek-R1-modellen eller ett paket med två modeller.
- Modell
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametrar / vikter
- 14.77B · — GB
- Viktsformat
- BF16
- Kontext / samtidighet
- 8192 / 1
- Gräns för checkpoint-kontext
- 131072
- Uppskattat GPU-minne
- Requires an updated assessment
- Planerad RAM / disk
- ≥ 64 GB / ≥ 150 GB
- Körningsmiljö
- vLLM · HTTP API
- Licens
- MIT; basmodell Apache-2.0
Uppskattningen inkluderar BF16-vikter, KV-cache, 2 GB arbetsyta och 15% GPU marginal. RAM och disk är planeringskrav för GlobalAtlas, inte utvecklarens officiella minimikrav. Disktyp, drivrutiner och körmiljö bekräftas före installation. Den 8192-token servingbudgeten inkluderar in- och utdata; längre kontext eller fler samtidiga förfrågningar kräver omdimensionering och ett belastningstest.
Ursprungligt modellkort