Decizie de arhitectură
Folosiți cardul modelului selectat pentru dimensionare. O estimare a memoriei pentru greutățile dense de 7B nu poate fi reutilizată pentru o altă versiune Mistral.
GLOBALATLAS AI · Infrastructură pentru Mistral
Infrastructură pentru Mistral
Mistral 7B și alte versiuni Mistral diferă în dimensiune și arhitectură. Selectați o anumită versiune înainte de a dimensiona hardware-ul.
Potrivește arhitectura Mistral cu runtime-ul
- 01
Cardul exact al modelului și revizia greutății
- 02
Arhitectură densă sau de tip amestec de experți
- 03
Runtime, precizie și compatibilitate suportate
Cerinte de configurare
Un model dens de 7B la 16 biți are aproximativ 14 GB decimali doar pentru greutăți. Lăsați memorie pentru rulare și context; nu estimați numărul de utilizatori din această estimare.