कॉन्फ़िगरेशन
निर्देश-समायोजित टेक्स्ट मॉडल। दस्तावेज़ खोज के लिए अलग रिट्रीवल/इंडेक्सिंग सेवा चाहिए; इस चेकपॉइंट में छवियाँ और ऑडियो समर्थित नहीं हैं।
- मॉडल
- Qwen/Qwen2.5-7B-Instruct
- पैरामीटर / वज़न
- 7.62B · — GB
- वज़न प्रारूप
- BF16
- संदर्भ / समानांतरता
- 8192 / 1
- चेकपॉइंट संदर्भ सीमा
- 32768
- अनुमानित GPU मेमोरी
- Requires an updated assessment
- योजनाबद्ध RAM / डिस्क
- ≥ 32 GB / ≥ 100 GB
- सर्विंग रनटाइम
- vLLM · HTTP API
- लाइसेंस
- Apache-2.0
अनुमान में BF16 वज़न, KV कैश, 2 GB वर्कस्पेस और 15% GPU हेडरूम शामिल हैं। RAM और डिस्क GlobalAtlas नियोजन आवश्यकताएँ हैं, डेवलपर की आधिकारिक न्यूनतम नहीं। डिस्क प्रकार, ड्राइवर और रनटाइम की पुष्टि इंस्टॉलेशन से पहले की जाती है। 8192-टोकन सर्विंग बजट में इनपुट और आउटपुट शामिल हैं; लंबा संदर्भ या अधिक एक साथ अनुरोधों के लिए आकार बदलना और लोड टेस्ट आवश्यक है।
मूल मॉडल कार्ड