Architekturentscheidung
Verwenden Sie die ausgewählte Modellkarte für die Größenbestimmung. Eine Speicherabschätzung für dichte 7B-Gewichte kann nicht für eine andere Mistral-Version wiederverwendet werden.
GLOBALATLAS AI · Infrastruktur für Mistral
Infrastruktur für Mistral
Mistral 7B und andere Mistral-Versionen unterscheiden sich in Größe und Architektur. Vor der Größenbestimmung Hardware-Spezifikation einer bestimmten Version auswählen.
Architektur Mistral auf Laufzeit abstimmen
- 01
Exakte Modellkarte und Gewichtsrevision
- 02
Dichte oder Experten-Mischarchitektur
- 03
Unterstützte Laufzeit, Präzision und Kontext
Anforderungen an die Konfiguration
Ein 7B-Dichtemodell mit 16 Bit hat ungefähr 14 GB Dezimalgewicht an Gewichten. Lassen Sie Speicher für Laufzeit und Kontext frei; schließen Sie keine Nutzerzahl aus dieser Schätzung ab.