GLOBALATLAS AI · Infrastruktuuri Mistralille

Infrastruktuuri Mistralille

Mistral 7B ja muut Mistral-versiot eroavat kooltaan ja arkkitehtuuriltaan. Valitse tietty malli ennen laitteiston kokoamista.

Yhdistä Mistral-arkkitehtuuri ajonaikaiseen ympäristöön

  1. 01

    Tarkka mallikortti ja painoversion tarkkuus

  2. 02

    Tiheä tai asiantuntijoiden sekoitusarkkitehtuuri

  3. 03

    Tuetut ajonaika, tarkkuus ja konteksti

Arkkitehtuuripäätös

Käytä valittua mallikorttia koon arviointiin. Tiheiden 7B painojen muistiarvio ei ole uudelleenkäytettävissä eri Mistral-versioille.

Kokoonpanovaatimukset

7B tiheä malli 16 bitillä sisältää noin 14 GB desimaalipainoja. Jätä muisti ajoaikaa ja kontekstia varten; älä tee käyttäjämääräarviota tästä.

Tekniset viitteet

Määritys 1 →