आर्किटेक्चर निर्णय
आकार के लिए चयनित मॉडल कार्ड का उपयोग करें। घने 7B वज़नों के लिए मेमोरी का अनुमान अलग Mistral रिलीज़ के लिए पुन: उपयोग नहीं किया जा सकता।
GLOBALATLAS AI · Mistral के लिए अवसंरचना
Mistral के लिए अवसंरचना
Mistral 7B और अन्य Mistral रिलीज आकार और वास्तुकला में भिन्न हैं। हार्डवेयर का आकार निर्धारित करने से पहले विशिष्ट मॉडल कार्ड का चयन करें।
Mistral आर्किटेक्चर को रनटाइम से मेल करें
- 01
सटीक मॉडल कार्ड और वजन संशोधन।
- 02
घना या विशेषज्ञों का मिश्रित वास्तुकला।
- 03
समर्थित रनटाइम, सटीकता और संदर्भ
कॉन्फ़िगरेशन आवश्यकताएँ
16 बिट्स पर 7B घना मॉडल लगभग 14 GB दशमलव वजन रखता है। रनटाइम और संदर्भ के लिए मेमोरी छोड़ दें; उस अनुमान से उपयोगकर्ता संख्या का अनुमान न लगाएँ।