Рішення архітектури
Використовуйте картку обраної моделі для визначення розміру. Оцінка пам’яті для щільних ваг 7B не може бути повторно використана для іншого релізу Mistral.
GLOBALATLAS AI · Інфраструктура для Mistral
Інфраструктура для Mistral
Mistral 7B та інші релізи Mistral різняться за розміром та архітектурою. Оберіть конкретну модель перед визначенням апаратного забезпечення.
Підбирайте архітектуру Mistral відповідно до часу виконання
- 01
Точна карта моделі та ревізія ваг
- 02
Щільна або архітектура мікс-експертів
- 03
Підтримуваний час виконання, точність і контекст
Вимоги до конфігурації
Щільна модель 7B з 16 бітами має приблизно 14 ГБ вагів. Залиште пам’ять для виконання та контексту; не визначайте кількість користувачів за цим оцінюванням.