GLOBALATLAS AI · Infrastruktuur Mistral jaoks

Infrastruktuur Mistral jaoks

Mistral 7B ja teised Mistral väljaanded erinevad suuruse ja arhitektuuri poolest. Valige konkreetne mudel enne riistvara suuruse määramist.

Sobita Mistral arhitektuur jooksutööajaga

  1. 01

    Täpsed mudelikaardid ja kaalude revideerimine

  2. 02

    Tihe või ekspertide segu arhitektuur

  3. 03

    Toetatud jooksuaeg, täpsus ja kontekst

Arhitektuuripõhimõte

Kasuta valitud mudelikaarte suuruse määramiseks. Tiheda 7B kaalude mäluhinnangut ei saa taaskasutada teise Mistral versiooni jaoks.

Nõuded konfiguratsioonile

7B tiheda mudeli 16-bitine versioon sisaldab umbes 14 GB kümnendväärtusi kaaludest. Jäta mälu jooksva töö ja konteksti jaoks; ära eelda kasutajate arvu sellest hinnangust.

Tehnilised viited

Spetsifikatsioon 1 →