Rozhodnutí o architektuře
Použijte vybranou kartu modelu pro velikost. Odhad paměti pro husté 7B váhy nelze znovu použít pro jinou verzi Mistral.
GLOBALATLAS AI · Infrastruktura pro Mistral
Infrastruktura pro Mistral
Mistral 7B a další vydání Mistral se liší velikostí a architekturou. Před velikostí hardwaru vyberte konkrétní modelovou kartu.
Přiřaďte architekturu Mistral k runtime
- 01
Přesná karta modelu a revize váhy
- 02
Architektura hustá nebo smíšená s experty
- 03
Podporované prostředí, přesnost a kontext
Požadavky na konfiguraci
Hustý model 7B s 16 bity má přibližně 14 GB desetinných vah. Nechte paměť na běhové a kontextové operace; neodvozujte počet uživatelů z tohoto odhadu.