आर्किटेक्चर निर्णय
आकारासाठी निवडलेल्या मॉडेल कार्डचा वापर करा. घन 7B वजनांसाठी मेमरी अंदाज वेगळ्या Mistral आवृत्तीवर पुनर्वापर करता येत नाही.
GLOBALATLAS AI · Mistral साठी पायाभूत सुविधा
Mistral साठी पायाभूत सुविधा
Mistral 7B आणि इतर Mistral प्रकाशने आकार आणि आर्किटेक्चरमध्ये वेगळ्या आहेत. हार्डवेअर आकारमानापूर्वी विशिष्ट मॉडेल कार्ड निवडा.
Mistral आर्किटेक्चरला रनटाइमशी जुळवा
- 01
अचूक मॉडेल कार्ड आणि वजन आवृत्ती
- 02
घन किंवा तज्ञांच्या मिश्रणाची रचना
- 03
समर्थित रनटाइम, अचूकता आणि संदर्भ
कॉन्फिगरेशन आवश्यकता
16 बिट्सवर 7B घन मॉडेलमध्ये अंदाजे 14 GB वजन आहे. रनटाइम आणि संदर्भासाठी स्मृती सोडा; त्या अंदाजावर वापरकर्त्यांची संख्या मोजू नका.