Arhitektūras lēmums
Izmantojiet izvēlēto modeļa karti izmēra noteikšanai. Atmiņas novērtējums blīviem 7B svara modeļiem nevar tikt atkārtots citā Mistral izlaidumā.
GLOBALATLAS AI · Infrastruktūra Mistral
Infrastruktūra Mistral
Mistral 7B un citas Mistral versijas atšķiras izmērā un arhitektūrā. Pirms aparatūras izmēra izvēles izvēlieties konkrētu modeļa karti.
Saskaņot Mistral arhitektūru ar izpildi
- 01
Precīza modeļa karte un svara revīzija
- 02
Blīva vai eksperta arhitektūra
- 03
Atbalstīts izpildlaiks, precizitāte un konteksts
Konfigurācijas prasības
7B blīvs modelis ar 16 bitiem aptuveni satur 14 GB decimālo svaru. Atstājiet atmiņu izpildlaikam un kontekstam; neuzskatiet šo par lietotāju skaita novērtējumu.