Rozhodnutie o architektúre
Použite vybranú kartu modelu na veľkosť. Odhad pamäte pre husté 7B váhy nemôže byť znovu použitý pre inú verziu Mistral.
GLOBALATLAS AI · Infrastruktúra pre Mistral
Infrastruktúra pre Mistral
Mistral 7B a ďalšie vydania Mistral sa líšia veľkosťou a architektúrou. Vyberte si konkrétnu kartu modelu pred veľkosťou hardvéru.
Zladenie architektúry Mistral s runtime
- 01
Presná karta modelu a revízia váhy
- 02
Architektúra hustá alebo zmes expertov
- 03
Podporované prostredie, presnosť a kontext
Požiadavky na konfiguráciu
Hustý model B7 s 16 bitmi má približne 14 GB desatinných váh. Nezabudnite na pamäť pre beh a kontext; neodvodzujte počet používateľov z tohto odhadu.