कॉन्फिगरेशन
DeepSeek चा स्वतंत्र तर्कशक्ती मॉडेल, जो DeepSeek-R1 आउटपुट्स वापरून Qwen2.5-32B बेसवर डिस्टिल केलेला आहे. हा पूर्ण 671B DeepSeek-R1 मॉडेल किंवा दोन मॉडेल्सचा बंडल नाही.
- मॉडेल
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- पॅरामीटर्स / वजन
- 32.76B · — GB
- वजन स्वरूप
- BF16
- संदर्भ / समांतरता
- 8192 / 1
- Checkpoint संदर्भ मर्यादा
- 131072
- अंदाजित GPU मेमरी
- Requires an updated assessment
- नियोजित RAM / डिस्क
- ≥ 128 GB / ≥ 200 GB
- सर्व्हिंग रनटाइम
- vLLM · HTTP API
- परवाना
- MIT; base model Apache-2.0
अंदाजात BF16 वजन, KV कॅशे, 2 GB वर्कस्पेस आणि 15% GPU हेडरूम समाविष्ट आहे. RAM आणि डिस्क हे GlobalAtlas नियोजन आवश्यकतांचे भाग आहेत, विकसकाच्या अधिकृत किमान मर्यादा नाहीत. स्थापना करण्यापूर्वी डिस्क प्रकार, ड्रायव्हर्स आणि रनटाइमची पुष्टी केली जाते. 8192-टोकन सर्व्हिंग बजेटमध्ये इनपुट आणि आउटपुट समाविष्ट आहेत; जास्त संदर्भ किंवा अधिक समकालीन विनंत्यांसाठी आकार बदल आणि लोड चाचणी आवश्यक आहे.
मूळ मॉडेल कार्ड