कॉन्फ़िगरेशन
DeepSeek-R1 आउटपुट का उपयोग करके Qwen2.5-14B बेस पर डिस्टिल किया गया एक अलग DeepSeek तर्क मॉडल। यह पूरा 671B DeepSeek-R1 मॉडल या दो मॉडलों का बंडल नहीं है।
- मॉडल
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- पैरामीटर / वज़न
- 14.77B · — GB
- वज़न प्रारूप
- BF16
- संदर्भ / समानांतरता
- 8192 / 1
- चेकपॉइंट संदर्भ सीमा
- 131072
- अनुमानित GPU मेमोरी
- Requires an updated assessment
- योजनाबद्ध RAM / डिस्क
- ≥ 64 GB / ≥ 150 GB
- सर्विंग रनटाइम
- vLLM · HTTP API
- लाइसेंस
- MIT; बेस मॉडल Apache-2.0
अनुमान में BF16 वज़न, KV कैश, 2 GB वर्कस्पेस और 15% GPU हेडरूम शामिल हैं। RAM और डिस्क GlobalAtlas नियोजन आवश्यकताएँ हैं, डेवलपर की आधिकारिक न्यूनतम नहीं। डिस्क प्रकार, ड्राइवर और रनटाइम की पुष्टि इंस्टॉलेशन से पहले की जाती है। 8192-टोकन सर्विंग बजट में इनपुट और आउटपुट शामिल हैं; लंबा संदर्भ या अधिक एक साथ अनुरोधों के लिए आकार बदलना और लोड टेस्ट आवश्यक है।
मूल मॉडल कार्ड