कॉन्फ़िगरेशन
v3 टोकनाइज़र वाला निर्देश-समायोजित टेक्स्ट मॉडल। फ़ंक्शन कॉलिंग के लिए संगत चैट टेम्पलेट और एप्लिकेशन-साइड टूल निष्पादन की आवश्यकता होती है।
- मॉडल
- mistralai/Mistral-7B-Instruct-v0.3
- पैरामीटर / वज़न
- 7.25B · — GB
- वज़न प्रारूप
- BF16
- संदर्भ / समानांतरता
- 8192 / 1
- चेकपॉइंट संदर्भ सीमा
- 32768
- अनुमानित GPU मेमोरी
- Requires an updated assessment
- योजनाबद्ध RAM / डिस्क
- ≥ 32 GB / ≥ 100 GB
- सर्विंग रनटाइम
- vLLM · HTTP API
- लाइसेंस
- Apache-2.0
अनुमान में BF16 वज़न, KV कैश, 2 GB वर्कस्पेस और 15% GPU हेडरूम शामिल हैं। RAM और डिस्क GlobalAtlas नियोजन आवश्यकताएँ हैं, डेवलपर की आधिकारिक न्यूनतम नहीं। डिस्क प्रकार, ड्राइवर और रनटाइम की पुष्टि इंस्टॉलेशन से पहले की जाती है। 8192-टोकन सर्विंग बजट में इनपुट और आउटपुट शामिल हैं; लंबा संदर्भ या अधिक एक साथ अनुरोधों के लिए आकार बदलना और लोड टेस्ट आवश्यक है।
मूल मॉडल कार्ड