Konfigurácia
Textový model doladený na inštrukcie. Vyhľadávanie v dokumentoch vyžaduje samostatnú službu na získavanie/indexovanie; obrázky a zvuk tento checkpoint nepodporuje.
- Model
- Qwen/Qwen2.5-32B-Instruct
- Parametre / váhy
- 32.76B · — GB
- Formát váh
- BF16
- Kontext / súbežnosť
- 8192 / 1
- Limit kontextu checkpointu
- 32768
- Odhadovaná pamäť GPU
- Requires an updated assessment
- Plánované RAM / disk
- ≥ 128 GB / ≥ 200 GB
- Serving runtime
- vLLM · HTTP API
- Licencia
- Apache-2.0
Odhad zahŕňa váhy BF16, KV cache, pracovný priestor 2 GB a rezervu 15% GPU. RAM a disk sú plánovacími požiadavkami GlobalAtlas, nie oficiálnymi minimami vývojára. Typ disku, ovládače a runtime sa potvrdzujú pred inštaláciou. Serving rozpočet pre 8192 tokenov zahŕňa vstup aj výstup; dlhší kontext alebo viac súbežných požiadaviek si vyžaduje zmenu veľkosti a záťažový test.
Pôvodná karta modelu