Architectuurbesluit
Gebruik de geselecteerde modelkaart voor afmetingen. Een geheugenraming voor dense 7B-gewichten kan niet worden hergebruikt voor een andere Mistral-release.
GLOBALATLAS AI · Infrastructuur voor Mistral
Infrastructuur voor Mistral
Mistral 7B en andere Mistral-releases verschillen in grootte en architectuur. Kies een specifiek model voordat je hardware dimensioneert.
Koppel de Mistral-architectuur aan de runtime
- 01
Exact modelkaart en gewichtversie
- 02
Dichte of gemengde architectuur van experts
- 03
Ondersteunde runtime, precisie en context
Vereisten voor configuratie
Een dicht model van 7B met 16 bits bevat ongeveer 14 GB decimale gewichten. Laat geheugen voor runtime en context; leid niet af op basis van dat schatting het aantal gebruikers.