GLOBALATLAS AI · DEDIKERAD INFERENS

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: självhostad inferenskonfiguration, BF16 vikter, 8192-token kontext, GPU minne och serverval.

Konfiguration

Instruktionsfinjusterad textmodell med v3-tokenizern. Funktionsanrop kräver en kompatibel chattmall och verktygsutförande i applikationen.

Modell: mistralai/Mistral-7B-Instruct-v0.3
Parametrar / vikter: 7.25B · — GB
Viktsformat: BF16
Kontext / samtidighet: 8192 / 1
Gräns för checkpoint-kontext: 32768
Uppskattat GPU-minne: Requires an updated assessment
Planerad RAM / disk: ≥ 32 GB / ≥ 100 GB
Körningsmiljö: vLLM · HTTP API
Licens: Apache-2.0

Uppskattningen inkluderar BF16-vikter, KV-cache, 2 GB arbetsyta och 15% GPU marginal. RAM och disk är planeringskrav för GlobalAtlas, inte utvecklarens officiella minimikrav. Disktyp, drivrutiner och körmiljö bekräftas före installation. Den 8192-token servingbudgeten inkluderar in- och utdata; längre kontext eller fler samtidiga förfrågningar kräver omdimensionering och ett belastningstest.

Ursprungligt modellkort

Välj din infrastruktur

Välj hårdvara och be sedan en specialist bekräfta tillgänglighet och modellinstallation. Själva serverbeställningen installerar inte modellen.

Vi väljer en kompatibel konfiguration för denna modell tillsammans med dig.

Begär hela uppsättningen

Ange modellen, regionen och förväntad belastning. Våra specialister bekräftar hårdvara, installation, åtkomstskydd och slutpris.

Diskutera med Atlas →

Begär hjälp av en specialist →

Skicka dina krav till GlobalAtlas-specialister för en individuell granskning av konfigurationen. De kontrollerar hårdvara, kompatibilitet och villkor och svarar sedan via e-post.