Decisió d'arquitectura
Utilitzeu la targeta de model seleccionada per a la mida. Una estimació de memòria per a pesos densos de 7B no es pot reutilitzar per a una versió diferent de Mistral.
GLOBALATLAS AI · Infraestructura per Mistral
Infraestructura per Mistral
Mistral 7B i altres llançaments de Mistral difereixen en mida i arquitectura. Selecciona una fitxa de model específica abans de dimensionar el maquinari.
Combina l'arquitectura Mistral amb el temps d'execució
- 01
Carta de model i revisió de pes exactes
- 02
Arquitectura d'alta densitat o d'experts mixtos
- 03
Runtime, precisió i context suportats
Requisits de configuració
Un model dens de 7B a 16 bits té aproximadament 14 GB decimal de pesos. Deixeu memòria per a l'execució i el context; no deduïu un nombre d'usuaris a partir d'aquesta estimació.