تصمیم‌گیری معماری
از کارت مدل انتخاب شده برای اندازه‌گیری استفاده کنید. برآورد حافظه برای وزن‌های فشرده 7B قابل استفاده مجدد برای نسخه Mistral متفاوت نیست.
GLOBALATLAS AI · زیرساخت برای Mistral
زیرساخت برای Mistral
Mistral 7B و نسخه‌های دیگر Mistral در اندازه و معماری متفاوت هستند. قبل از اندازه‌گیری سخت‌افزار، کارت مدل خاص را انتخاب کنید.
تطابق معماری Mistral با زمان اجرا
- 01
مدل دقیق و نسخه‌ریزی وزن
- 02
معماری تراکم یا ترکیبی از متخصصان
- 03
مدت زمان اجرا، دقت و زمینه پشتیبانی شده
نیازهای پیکربندی
مدل متراکم 7B در 16 بیت تقریبا 14 گیگابایت وزن دارد. حافظه را برای زمان اجرا و زمینه نگه دارید؛ تعداد کاربران را بر اساس این برآورد فرض نکنید.