Arkitekturbeslutning
Brug den valgte modelkort til størrelsesfastsættelse. En hukommelsesestimering for tætte 7B-vægte kan ikke genbruges til en anden Mistral-udgivelse.
GLOBALATLAS AI · Infrastruktur til Mistral
Infrastruktur til Mistral
Mistral 7B og andre Mistral-udgivelser varierer i størrelse og arkitektur. Vælg en specifik model, før du størrelsesbestemmer hardware.
Match Mistral-arkitektur med runtime
- 01
Nøjagtig modelkort og vægtrevision
- 02
Tæt eller blandet-ekspert-arkitektur
- 03
Understøttet runtime, præcision og kontekst
Krav til konfiguration
En tæt model på 7B med 16 bits har ca. 14 GB decimale vægte alene. Afslut hukommelsen til runtime og kontekst; fortolk ikke et brugerantal ud fra dette estimat.