ఆర్కిటెక్చర్ నిర్ణయం
పరిమాణ నిర్ణయం కోసం ఎంచుకున్న మోడల్ కార్డ్‌ను ఉపయోగించండి. సాంద్ర 7B వెయిట్స్ కోసం మెమరీ అంచనాను వేరే Mistral విడుదలకు మళ్లీ ఉపయోగించ нельзя.
GLOBALATLAS AI · Mistral కోసం మౌలిక సదుపాయాలు
Mistral కోసం మౌలిక సదుపాయాలు
Mistral 7B మరియు ఇతర Mistral విడుదలలు పరిమాణం మరియు ఆర్కిటెక్చర్‌లో భిన్నంగా ఉంటాయి. హార్డ్వేర్ సైజింగ్‌కు ముందు నిర్దిష్ట మోడల్ కార్డ్‌ను ఎంచుకోండి.
Mistral వాస్తవ నిర్మాణాన్ని రన్‌టైమ్‌కు సరిపోల్చండి
- 01
ఖచ్చితమైన మోడల్ కార్డ్ మరియు వెయిట్ సంస్కరణ
- 02
డెన్స్ లేదా మిశ్రమ-నిపుణుల ఆర్కిటెక్చర్
- 03
మద్దతు పొందిన రన్‌టైమ్, ఖచ్చితత్వం మరియు సందర్భం
కాన్ఫిగరేషన్ అవసరాలు
16 బిట్లలో 7B డెన్స్ మోడల్ సుమారు 14 GB దశాంశ బరువులు మాత్రమే కలిగి ఉంటుంది. రన్‌టైమ్ మరియు కాంటెక్స్ట్ కోసం మెమరీ వదిలివేయండి; ఆ అంచనాతో వినియోగదారు సంఖ్యను ఊహించవద్దు.