Konfiguratsioon
Juhiste järgi häälestatud tekstimudel. Dokumendiotsing vajab eraldi otsingu-/indekseerimisteenust; see kontrollpunkt ei toeta pilte ega heli.
- Mudel
- Qwen/Qwen2.5-32B-Instruct
- Parameetrid / kaalud
- 32.76B · — GB
- Kaaluvorming
- BF16
- Kontekst / samaaegsus
- 8192 / 1
- Kontrollpunkti konteksti limiit
- 32768
- Hinnanguline GPU mälu
- Requires an updated assessment
- Planeeritud RAM / ketas
- ≥ 128 GB / ≥ 200 GB
- Teeninduse tööaeg
- vLLM · HTTP API
- Litsents
- Apache-2.0
Hinnang sisaldab BF16 kaale, KV-vahemälu, 2 GB tööruumi ja 15% GPU varuruumi. RAM ja ketas on GlobalAtlas planeerimisnõuded, mitte arendaja ametlik miinimum. Kettatüüp, draiverid ja tööaeg kinnitatakse enne paigaldust. 8192-tokeniline teeninduseelarve hõlmab sisendit ja väljundit; pikem kontekst või suurem samaaegsete päringute arv nõuab suurendamist ja koormustesti.
Algne mudelikart