कॉन्फिगरेशन
v3 टोकनायझरसह सूचना-ट्यून केलेले मजकूर मॉडेल. फंक्शन कॉलिंगसाठी सुसंगत चॅट टेम्पलेट आणि अॅप्लिकेशन-स्तरीय टूल एक्झिक्युशन आवश्यक आहे.
- मॉडेल
- mistralai/Mistral-7B-Instruct-v0.3
- पॅरामीटर्स / वजन
- 7.25B · — GB
- वजन स्वरूप
- BF16
- संदर्भ / समांतरता
- 8192 / 1
- Checkpoint संदर्भ मर्यादा
- 32768
- अंदाजित GPU मेमरी
- Requires an updated assessment
- नियोजित RAM / डिस्क
- ≥ 32 GB / ≥ 100 GB
- सर्व्हिंग रनटाइम
- vLLM · HTTP API
- परवाना
- Apache-2.0
अंदाजात BF16 वजन, KV कॅशे, 2 GB वर्कस्पेस आणि 15% GPU हेडरूम समाविष्ट आहे. RAM आणि डिस्क हे GlobalAtlas नियोजन आवश्यकतांचे भाग आहेत, विकसकाच्या अधिकृत किमान मर्यादा नाहीत. स्थापना करण्यापूर्वी डिस्क प्रकार, ड्रायव्हर्स आणि रनटाइमची पुष्टी केली जाते. 8192-टोकन सर्व्हिंग बजेटमध्ये इनपुट आणि आउटपुट समाविष्ट आहेत; जास्त संदर्भ किंवा अधिक समकालीन विनंत्यांसाठी आकार बदल आणि लोड चाचणी आवश्यक आहे.
मूळ मॉडेल कार्ड