Yapılandırma
v3 tokenizer’ı kullanan yönergeyle ince ayarlanmış metin modeli. Fonksiyon çağırma, uyumlu bir sohbet şablonu ve uygulama tarafında araç çalıştırması gerektirir.
- Model
- mistralai/Mistral-7B-Instruct-v0.3
- Parametreler / ağırlıklar
- 7.25B · — GB
- Ağırlık biçimi
- BF16
- Bağlam / eşzamanlılık
- 8192 / 1
- Bağlam sınırı
- 32768
- Tahmini GPU bellek
- Requires an updated assessment
- Planlanan RAM / disk
- ≥ 32 GB / ≥ 100 GB
- Sunum çalışma zamanı
- vLLM · HTTP API
- Lisans
- Apache-2.0
Tahmin; BF16 ağırlıkları, KV önbelleği, 2 GB çalışma alanı ve 15% GPU payını içerir. RAM ve disk, geliştiricinin resmi asgari değerleri değil, GlobalAtlas planlama gereksinimleridir. Disk türü, sürücüler ve çalışma zamanı kurulum öncesinde doğrulanır. 8192 tokenlık sunum bütçesi giriş ve çıkışı içerir; daha uzun bir bağlam veya daha fazla eşzamanlı istek yeniden boyutlandırma ve yük testi gerektirir.
Orijinal model kartı