GLOBALATLAS AI · OMA INFEROINTI

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: itse isännöity päättelykokoonpano, BF16-painot, 8192-tokenin konteksti, GPU-muisti ja palvelimen valinta.

Kokoonpano

Ohjeistukseen hienosäädetty tekstimalli v3-tokenisointiohjelmalla. Funktiokutsut vaativat yhteensopivan chat-pohjan ja työkalujen suorituksen sovelluksen puolella.

Malli: mistralai/Mistral-7B-Instruct-v0.3
Parametrit / painot: 7.25B · — GB
Painomuoto: BF16
Konteksti / samanaikaisuus: 8192 / 1
Kontekstin enimmäisraja: 32768
Arvioitu GPU-muisti: Requires an updated assessment
Suunniteltu RAM / levy: ≥ 32 GB / ≥ 100 GB
Tarjoiluajonaika: vLLM · HTTP API
Lisenssi: Apache-2.0

Arvio sisältää BF16-painot, KV-välimuistin, 2 GB:n työtilan ja 15% GPU:n liikkumavaran. RAM ja levytila ovat GlobalAtlas-suunnitteluvaatimuksia, eivät kehittäjän virallisia minimejä. Levytyyppi, ajurit ja ajonaika vahvistetaan ennen asennusta. 8192-tokenin tarjoilubudjetti sisältää syötteen ja tulosteen; pidempi konteksti tai useammat samanaikaiset pyynnöt vaativat mitoituksen muutoksen ja kuormitustestin.

Alkuperäinen mallikortti

Valitse infrastruktuurisi

Valitse laitteisto ja vahvista sitten saatavuus ja mallin asennus asiantuntijan kanssa. Pelkkä palvelintilaus ei asenna mallia.

Valitsemme tähän malliin kanssasi yhteensopivan kokoonpanon.

Pyydä koko asennus

Sisällytä malli, alue ja arvioitu kuormitus. Asiantuntijamme vahvistavat laitteiston, asennuksen, käyttöoikeuksien suojauksen ja lopullisen hinnan.

Keskustele Atlasin kanssa →

Pyydä asiantuntija-apua →

Lähetä vaatimuksesi GlobalAtlas-asiantuntijoille yksilöllistä kokoonpanon arviointia varten. He tarkistavat laitteiston, yhteensopivuuden ja ehdot ja vastaavat sitten sähköpostitse.