Architektúra döntés
A kiválasztott modellkártyát használja méretezéshez. Egy sűrű 7B súlyokhoz tartozó memóriabecslést nem lehet újrahasználni egy másik Mistral kiadáshoz.
GLOBALATLAS AI · Infrastruktúra Mistral számára
Infrastruktúra Mistral számára
A Mistral 7B és más Mistral kiadások méretben és architektúrában különböznek. Válasszon konkrét modellt a hardver méretezése előtt.
Egyeztesse a Mistral architektúrát a futási idővel
- 01
Pontos modellkártya és súlyverzió
- 02
Sűrű vagy szakértői architektúra
- 03
Támogatott futási környezet, pontosság és kontextus
Konfigurációs követelmények
Egy 7B sűrű modell 16 biten kb. 14 GB tizedes értékű súlyt tartalmaz. Hagyjon memóriát a futási időre és a kontextusra; ne vonjon le felhasználói számot ebből az becslésből.