Mimari kararı
Boyutlandırma için seçilen model kartını kullanın. Yoğun 7B ağırlıklar için bellek tahmini, farklı bir Mistral sürümü için yeniden kullanılamaz.
GLOBALATLAS AI · Mistral için altyapı
Mistral için altyapı
Mistral 7B ve diğer Mistral sürümleri boyut ve mimaride farklılık gösterir. Donanım boyutlandırmadan önce belirli bir model kartı seçin.
Mistral mimarisini çalışma zamanına uygun hale getirin
- 01
Tam model kartı ve ağırlık revizyonu
- 02
Yoğun veya uzman karışımı mimari
- 03
Desteklenen çalışma zamanı, hassasiyet ve bağlam
Yapılandırma gereksinimleri
16 bitlik 7B yoğun model yaklaşık 14 GB ağırlığa sahiptir. Çalışma zamanı ve bağlam için bellek bırakın; bu tahminden kullanıcı sayısını çıkarmayın.