Odluka o arhitekturi
Koristite odabranu karticu modela za dimenzioniranje. Procjena memorije za gusto 7B težina ne može se ponovno koristiti za drugačije izdanje Mistral.
GLOBALATLAS AI · Infrastruktura za Mistral
Infrastruktura za Mistral
Mistral 7B i ostala izdanja Mistrala razlikuju se po veličini i arhitekturi. Odaberite specifičnu karticu modela prije veličine hardvera.
Uskladite arhitekturu Mistral s runtime-om
- 01
Točna kartica modela i revizija težine
- 02
Gusto ili arhitektura mješavine stručnjaka
- 03
Podržano vrijeme izvođenja, preciznost i kontekst
Zahtjevi za konfiguraciju
Gusto model od 7 milijardi parametara s 16 bita ima otprilike 14 GB decimalnih težina. Ostavite memoriju za vrijeme izvođenja i kontekst; ne procjenjujte broj korisnika na temelju te procjene.