قرار الهندسة المعمارية
استخدام بطاقة النموذج المختارة للحجم. لا يمكن إعادة استخدام تقدير الذاكرة للأوزان الكثيفة 7B لإصدار Mistral مختلف.
الذكاء الاصطناعي GlobalAtlas · بنية تحتية لـ Mistral
البنية التحتية لـ Mistral
Mistral 7B وإصدارات Mistral الأخرى تختلف في الحجم والمعمارية. اختر بطاقة نموذج محددة قبل تحديد حجم الأجهزة.
طابق بين معمارية Mistral ووقت التشغيل
- 01
بطاقة النموذج المحددة ومراجعة الوزن
- 02
هيكل كثيف أو مزيج من الخبراء
- 03
بيئة التشغيل المدعومة، الدقة والسياق
متطلبات التكوين
نموذج مكثف 7B بدقة 16 بت يحتوي على حوالي 14 جيجابايت من الأوزان فقط. اترك مساحة للذاكرة للوقت التشغيلي والسياق؛ لا تستنتج عدد المستخدمين من هذا التقدير.