GLOBALATLAS AI · NAMJENSKI INFERENCE

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: self-hosted konfiguracija inferencije, BF16 težine, 8192-token kontekst, GPU memorija i izbor servera.

Konfiguracija

Tekstualni model fino prilagođen uputama s v3 tokenizerom. Pozivanje funkcija zahtijeva kompatibilan chat template i izvršavanje alata na strani aplikacije.

Model: mistralai/Mistral-7B-Instruct-v0.3
Parametri / težine: 7.25B · — GB
Format težine: BF16
Kontekst / istovremenost: 8192 / 1
Ograničenje konteksta kontrolne tačke: 32768
Procijenjena GPU memorija: Requires an updated assessment
Planirano RAM / disk: ≥ 32 GB / ≥ 100 GB
Runtime za posluživanje: vLLM · HTTP API
Licenca: Apache-2.0

Procjena uključuje BF16 težine, KV cache, 2 GB radni prostor i 15% GPU rezervu. RAM i disk su GlobalAtlas planirani zahtjevi, a ne zvanični minimumi developera. Vrsta diska, driveri i runtime potvrđuju se prije instalacije. 8192-token budžet za posluživanje uključuje ulaz i izlaz; duži kontekst ili više istovremenih zahtjeva zahtijeva prilagođavanje veličine i test opterećenja.

Originalna kartica modela

Odaberite svoju infrastrukturu

Odaberite hardver, zatim sa stručnjakom potvrdite dostupnost i instalaciju modela. Sama narudžba servera ne instalira model.

S vama ćemo odabrati kompatibilnu konfiguraciju za ovaj model.

Zatražite kompletno podešavanje

Navedite model, regiju i očekivano opterećenje. Naši stručnjaci će potvrditi hardver, instalaciju, zaštitu pristupa i konačnu cijenu.

Razgovarajte s Atlasom →

Zatražite pomoć stručnjaka →

Pošaljite svoje zahtjeve GlobalAtlas stručnjacima za individualni pregled konfiguracije. Oni će provjeriti hardver, kompatibilnost i uslove, a zatim odgovoriti e-poštom.