Desisyon sa arkitektura
Gamitin ang napiling model card para sa sizing. Ang isang memory estimate para sa dense 7B weights ay hindi maaaring gamitin muli para sa ibang Mistral release.
GLOBALATLAS AI · Infrastructure para sa Mistral
Infrastructure para sa Mistral
Ang Mistral 7B at iba pang mga release ng Mistral ay nagkakaiba sa laki at arkitektura. Piliin ang isang partikular na modelo bago mag-size ng hardware.
Itugma ang arkitektura ng Mistral sa runtime
- 01
Eksaktong model card at revision ng timbang
- 02
Dense o mixture-of-experts architecture
- 03
Suportadong runtime, katumpakan at konteksto
Mga pangangailangan sa configuration
Ang isang 7B dense model na may 16 bits ay may humigit-kumulang 14 GB na weights lamang. Mag-iwan ng memorya para sa runtime at konteksto; huwag i-infer ang bilang ng user mula sa pagtataya na iyon.