कॉन्फिगरेशन
सूचना-ट्यून केलेले मजकूर मॉडेल. दस्तऐवज शोधासाठी स्वतंत्र retrieval/indexing सेवा आवश्यक आहे; प्रतिमा आणि ऑडिओ या checkpoint द्वारे समर्थित नाहीत.
- मॉडेल
- Qwen/Qwen2.5-32B-Instruct
- पॅरामीटर्स / वजन
- 32.76B · — GB
- वजन स्वरूप
- BF16
- संदर्भ / समांतरता
- 8192 / 1
- Checkpoint संदर्भ मर्यादा
- 32768
- अंदाजित GPU मेमरी
- Requires an updated assessment
- नियोजित RAM / डिस्क
- ≥ 128 GB / ≥ 200 GB
- सर्व्हिंग रनटाइम
- vLLM · HTTP API
- परवाना
- Apache-2.0
अंदाजात BF16 वजन, KV कॅशे, 2 GB वर्कस्पेस आणि 15% GPU हेडरूम समाविष्ट आहे. RAM आणि डिस्क हे GlobalAtlas नियोजन आवश्यकतांचे भाग आहेत, विकसकाच्या अधिकृत किमान मर्यादा नाहीत. स्थापना करण्यापूर्वी डिस्क प्रकार, ड्रायव्हर्स आणि रनटाइमची पुष्टी केली जाते. 8192-टोकन सर्व्हिंग बजेटमध्ये इनपुट आणि आउटपुट समाविष्ट आहेत; जास्त संदर्भ किंवा अधिक समकालीन विनंत्यांसाठी आकार बदल आणि लोड चाचणी आवश्यक आहे.
मूळ मॉडेल कार्ड