کنفیگریشن
Instruction-tuned text model۔ Document search کے لیے الگ retrieval/indexing service درکار ہے؛ images اور audio اس checkpoint میں supported نہیں ہیں۔
- ماڈل
- Qwen/Qwen2.5-32B-Instruct
- Parameters / weights
- 32.76B · — GB
- وزن کی شکل
- BF16
- Context / concurrency
- 8192 / 1
- Checkpoint context limit
- 32768
- اندازاً GPU memory
- Requires an updated assessment
- منصوبہ بند RAM / disk
- ≥ 128 GB / ≥ 200 GB
- Serving runtime
- vLLM · HTTP API
- لائسنس
- Apache-2.0
تخمینے میں BF16 weights، KV cache، 2 GB workspace اور 15% GPU headroom شامل ہے۔ RAM اور disk، GlobalAtlas planning requirements ہیں، developer کی official minima نہیں۔ Disk type، drivers اور runtime installation سے پہلے confirm کیے جاتے ہیں۔ 8192-token serving budget میں input اور output شامل ہیں؛ longer context یا زیادہ simultaneous requests کے لیے resizing اور load test درکار ہے۔
اصل model card