Решение за архитектура
Използвайте избраната карта на модел за размер. Оценката за памет за плътни 7B тежести не може да се използва за различно издание на Mistral.
GLOBALATLAS AI · Инфраструктура за Mistral
Инфраструктура за Mistral
Mistral 7B и други версии на Mistral се различават по размер и архитектура. Изберете конкретен модел преди да определите хардуера.
Съвместете архитектурата Mistral с изпълнителната среда
- 01
Точно моделна карта и ревизия на теглото
- 02
Плътна или архитектура с множество експерти
- 03
Поддържани време за изпълнение, прецизност и контекст
Изисквания за конфигурация
Плътна модел с 7B на 16 бита съдържа приблизително 14 GB десетични тежести. Оставете памет за изпълнение и контекст; не изчислявайте брой потребители от тази оценка.