Konfigurace
Textový model doladěný pro instrukce s tokenizerem v3. Volání funkcí vyžaduje kompatibilní chatovací šablonu a spouštění nástrojů na straně aplikace.
- Model
- mistralai/Mistral-7B-Instruct-v0.3
- Parametry / váhy
- 7.25B · — GB
- Formát vah
- BF16
- Kontext / souběžnost
- 8192 / 1
- Limit kontextu checkpointu
- 32768
- Odhadovaná paměť GPU
- Requires an updated assessment
- Plánovaná paměť RAM / disk
- ≥ 32 GB / ≥ 100 GB
- Servovací runtime
- vLLM · HTTP API
- Licence
- Apache-2.0
Odhad zahrnuje váhy BF16, KV cache, pracovní prostor 2 GB a rezervu 15% GPU. RAM a disk jsou plánovací požadavky GlobalAtlas, nikoli oficiální minima vývojáře. Typ disku, ovladače a runtime se potvrzují před instalací. Servovací rozpočet pro tokeny 8192 zahrnuje vstup i výstup; delší kontext nebo více současných požadavků vyžaduje přenastavení a zátěžový test.
Původní karta modelu