Arkitekturavgjørelse
Bruk den valgte modellkortet for størrelsesberegning. En minneestimering for tette 7B vekter kan ikke gjenbrukes for en annen Mistral-utgivelse.
GLOBALATLAS AI · Infrastruktur for Mistral
Infrastruktur for Mistral
Mistral 7B og andre Mistral-utgivelser varierer i størrelse og arkitektur. Velg en spesifikk modell før du størrelsesbestemmer maskinvare.
Match Mistral-arkitektur med kjøretid
- 01
Nøyaktig modellkort og vektversjon
- 02
Tett eller blandet arkitektur av eksperter
- 03
Støttet runtime, presisjon og kontekst
Krav til konfigurasjon
En 7B tett modell i 16 biter har omtrent 14 GB desimalvekter alene. La minne til kjøretid og kontekst; ikke trekk ut en brukermengde fra dette estimatet.