Выбор архитектуры
Рассчитывайте по карточке выбранной модели. Оценка памяти плотных весов 7B не подходит другому релизу Mistral.
GLOBALATLAS AI · Инфраструктура для Mistral
Инфраструктура для Mistral
Mistral 7B и другие релизы различаются размером и архитектурой. Выберите конкретную карточку модели перед расчётом оборудования.
Согласуйте архитектуру Mistral со средой
- 01
Точная карточка модели и версия весов
- 02
Плотная архитектура или смесь экспертов
- 03
Поддерживаемая среда, точность и контекст
Требования к конфигурации
У плотной модели 7B при 16 битах только веса занимают около 14 GB в десятичной системе. Нужна память для среды и контекста; число пользователей из этой оценки не следует.