GLOBALATLAS AI · DEDIKADONG INFERENCE

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: self-hosted inference configuration, BF16 weights, 8192-token context, GPU memory at pagpili ng server.

Configuration

Instruction-tuned text model na may v3 tokenizer. Nangangailangan ang function calling ng katugmang chat template at pagtakbo ng tool sa panig ng application.

Modelo: mistralai/Mistral-7B-Instruct-v0.3
Mga parameter / weights: 7.25B · — GB
Format ng weights: BF16
Context / concurrency: 8192 / 1
Limit ng context ng checkpoint: 32768
Tantyang memorya ng GPU: Requires an updated assessment
Nakaplano RAM / disk: ≥ 32 GB / ≥ 100 GB
Serving runtime: vLLM · HTTP API
Lisensya: Apache-2.0

Kasama sa pagtatantya ang mga weights ng BF16, KV cache, 2 GB workspace, at 15% GPU na headroom. Ang RAM at disk ay mga GlobalAtlas kinakailangan sa pagpaplano, hindi ang opisyal na minimum ng developer. Kinukumpirma ang uri ng disk, mga driver, at runtime bago ang pag-install. Kasama sa serving budget na 8192-token ang input at output; ang mas mahabang context o mas maraming sabayang request ay nangangailangan ng pag-resize at load test.

Orihinal na model card

Pumili ng iyong imprastraktura

Pumili ng hardware, pagkatapos ay kumpirmahin ang availability at pag-install ng modelo sa isang espesyalista. Ang pag-order lang ng server ay hindi nag-i-install ng modelo.

Pipili kami kasama mo ng katugmang konfigurasyon para sa modelong ito.

Humiling ng kumpletong setup

Isama ang modelo, rehiyon, at inaasahang load. Kukumpirmahin ng aming mga espesyalista ang hardware, pag-install, proteksiyon sa access, at ang pangwakas na presyo.

Talakayin sa Atlas →

Humiling ng tulong ng espesyalista →

Ipadala ang iyong mga kinakailangan sa mga espesyalista ng GlobalAtlas para sa indibidwal na pagsusuri ng konfigurasyon. Susuriin nila ang hardware, pagiging tugma, at mga tuntunin, saka sasagot sa email.