Konfigurim
Model teksti i optimizuar për instruksione. Kërkimi i dokumenteve kërkon një shërbim të veçantë rikuperimi/indeximi; imazhet dhe audio nuk mbështeten nga ky checkpoint.
- Modeli
- Qwen/Qwen2.5-32B-Instruct
- Parametrat / pesha
- 32.76B · — GB
- Formati i peshës
- BF16
- Kontekst / konkurencë
- 8192 / 1
- Kufiri i kontekstit të checkpoint-it
- 32768
- Memoria e vlerësuar GPU
- Requires an updated assessment
- RAM / disk i planifikuar
- ≥ 128 GB / ≥ 200 GB
- Runtime i shërbimit
- vLLM · HTTP API
- Licenca
- Apache-2.0
Vlerësimi përfshin peshat BF16, cache-in KV, hapësirën e punës 2 GB dhe rezervën 15% GPU. RAM dhe disku janë kërkesa planifikimi GlobalAtlas, jo minimumet zyrtare të zhvilluesit. Lloji i diskut, driverët dhe runtime-i konfirmohen para instalimit. Buxheti i shërbimit me token 8192 përfshin input dhe output; një kontekst më i gjatë ose më shumë kërkesa njëkohësisht kërkon ndryshim të madhësisë dhe një test ngarkese.
Karta origjinale e modelit