కాన్ఫిగరేషన్
DeepSeek-R1 అవుట్‌పుట్‌లను Qwen2.5-14B బేస్‌పై డిస్టిల్ చేసి రూపొందించిన ప్రత్యేక DeepSeek రీజనింగ్ మోడల్. ఇది పూర్తి 671B DeepSeek-R1 మోడల్ లేదా రెండు మోడళ్ల బండిల్ కాదు.
- మోడల్
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- పారామీటర్లు / వెయిట్లు
- 14.77B · — GB
- వెయిట్ ఫార్మాట్
- BF16
- కాంటెక్స్ట్ / సమకాలీనత
- 8192 / 1
- చెక్‌పాయింట్ కాంటెక్స్ట్ పరిమితి
- 131072
- అంచనా GPU మెమరీ
- Requires an updated assessment
- ప్రణాళికలో ఉన్న RAM / డిస్క్
- ≥ 64 GB / ≥ 150 GB
- సర్వింగ్ రన్‌టైమ్
- vLLM · HTTP API
- లైసెన్స్
- MIT; బేస్ మోడల్ Apache-2.0
అంచనాలో BF16 వెయిట్లు, KV కాష్, 2 GB వర్క్‌స్పేస్ మరియు 15% GPU హెడ్‌రూమ్ ఉంటాయి. RAM మరియు డిస్క్ GlobalAtlas ప్రణాళిక అవసరాలు మాత్రమే, డెవలపర్ అధికారిక కనిష్ఠాలు కావు. డిస్క్ రకం, డ్రైవర్లు మరియు రన్‌టైమ్ ఇన్‌స్టాలేషన్‌కు ముందు ధృవీకరించబడతాయి. 8192-టోకెన్ సర్వింగ్ బడ్జెట్‌లో ఇన్‌పుట్ మరియు అవుట్‌పుట్ ఉన్నాయి; ఎక్కువ కాంటెక్స్ట్ లేదా మరింత సమకాలీన అభ్యర్థనలకు పరిమాణం పెంపు మరియు లోడ్ టెస్ట్ అవసరం.
అసలు మోడల్ కార్డ్