Архитектуралық шешім
Өлшемдеу үшін таңдалған модель картасын пайдаланыңыз. Тығыз 7B салмақтар үшін жад бағалау басқа Mistral шығарылымына қайта қолданылмайды.
GLOBALATLAS AI · Mistral үшін инфрақұрылым
Mistral үшін инфрақұрылым
Mistral 7B және басқа Mistral шығарылымдары көлемі мен архитектурасында ерекшеленеді. Қажетті конфигурацияны таңдамас бұрын нақты модель картасын таңдаңыз.
Mistral архитектурасын орындалу уақытына сәйкестендіріңіз
- 01
Нақты модель картасы және салмақ нұсқамасы
- 02
Тығыз немесе мамандардың қоспасы архитектурасы
- 03
Қолдау көрсетілетін орындалу уақыты, дәлдік және контекст
Конфигурациялық талаптар
16 биттік 7B тығыз моделінде шамамен 14 ГБ салмақ бар. Орынды орын мен контекстке қалдырыңыз; бұл бағалау бойынша қолданушы санын анықтамаңыз.