Yapılandırma
Yönergeyle ince ayarlanmış metin modeli. Belge araması için ayrı bir alma/dizinleme hizmeti gerekir; bu kontrol noktası görüntü ve sesi desteklemez.
- Model
- Qwen/Qwen2.5-32B-Instruct
- Parametreler / ağırlıklar
- 32.76B · — GB
- Ağırlık biçimi
- BF16
- Bağlam / eşzamanlılık
- 8192 / 1
- Bağlam sınırı
- 32768
- Tahmini GPU bellek
- Requires an updated assessment
- Planlanan RAM / disk
- ≥ 128 GB / ≥ 200 GB
- Sunum çalışma zamanı
- vLLM · HTTP API
- Lisans
- Apache-2.0
Tahmin; BF16 ağırlıkları, KV önbelleği, 2 GB çalışma alanı ve 15% GPU payını içerir. RAM ve disk, geliştiricinin resmi asgari değerleri değil, GlobalAtlas planlama gereksinimleridir. Disk türü, sürücüler ve çalışma zamanı kurulum öncesinde doğrulanır. 8192 tokenlık sunum bütçesi giriş ve çıkışı içerir; daha uzun bir bağlam veya daha fazla eşzamanlı istek yeniden boyutlandırma ve yük testi gerektirir.
Orijinal model kartı