GLOBALATLAS AI · DEDIKERET INFERENS

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: selvhostet inferenskonfiguration, BF16-vægte, 8192-token-kontekst, GPU-hukommelse og servervalg.

Konfiguration

Instruktionsfinjusteret tekstmodel med v3-tokenizeren. Funktionskald kræver en kompatibel chat-skabelon og udførelse af værktøjer på applikationssiden.

Model: mistralai/Mistral-7B-Instruct-v0.3
Parametre / vægte: 7.25B · — GB
Vægtformat: BF16
Kontekst / samtidighed: 8192 / 1
Maksimum for kontekst for checkpoint: 32768
Estimeret GPU-hukommelse: Requires an updated assessment
Planlagt RAM / disk: ≥ 32 GB / ≥ 100 GB
Serving-runtime: vLLM · HTTP API
Licens: Apache-2.0

Estimatet inkluderer BF16-vægte, KV-cache, 2 GB arbejdsområde og 15% GPU-margin. RAM og disk er GlobalAtlas planlægningskrav, ikke udviklerens officielle minimum. Disktype, drivere og runtime bekræftes før installation. 8192-token-servingbudgettet omfatter input og output; en længere kontekst eller flere samtidige anmodninger kræver tilpasning og en belastningstest.

Oprindeligt modelkort

Vælg din infrastruktur

Vælg hardware, og bekræft derefter tilgængelighed og modelinstallation med en specialist. Serverbestillingen alene installerer ikke modellen.

Vi vælger sammen en kompatibel konfiguration til denne model.

Anmod om den komplette opsætning

Medtag model, region og forventet belastning. Vores specialister bekræfter hardware, installation, adgangsbeskyttelse og den endelige pris.

Tal med Atlas →

Anmod om hjælp fra en specialist →

Send dine krav til GlobalAtlas-specialister for en individuel gennemgang af konfigurationen. De vil kontrollere hardware, kompatibilitet og vilkår og derefter svare via e-mail.