Konfigurace
Textový model doladěný pro instrukce. Vyhledávání v dokumentech vyžaduje samostatnou službu pro retrieval/indexaci; obrázky a audio tento checkpoint nepodporuje.
- Model
- Qwen/Qwen2.5-32B-Instruct
- Parametry / váhy
- 32.76B · — GB
- Formát vah
- BF16
- Kontext / souběžnost
- 8192 / 1
- Limit kontextu checkpointu
- 32768
- Odhadovaná paměť GPU
- Requires an updated assessment
- Plánovaná paměť RAM / disk
- ≥ 128 GB / ≥ 200 GB
- Servovací runtime
- vLLM · HTTP API
- Licence
- Apache-2.0
Odhad zahrnuje váhy BF16, KV cache, pracovní prostor 2 GB a rezervu 15% GPU. RAM a disk jsou plánovací požadavky GlobalAtlas, nikoli oficiální minima vývojáře. Typ disku, ovladače a runtime se potvrzují před instalací. Servovací rozpočet pro tokeny 8192 zahrnuje vstup i výstup; delší kontext nebo více současných požadavků vyžaduje přenastavení a zátěžový test.
Původní karta modelu