Keputusan arsitektur
Gunakan kartu model yang dipilih untuk penyesuaian ukuran. Perkiraan memori untuk bobot 7B yang padat tidak dapat digunakan kembali untuk rilis Mistral yang berbeda.
GLOBALATLAS AI · Infrastruktur untuk Mistral
Infrastruktur untuk Mistral
Mistral 7B dan rilis Mistral lainnya berbeda dalam ukuran dan arsitektur. Pilih kartu model tertentu sebelum menentukan ukuran perangkat keras.
Sesuaikan arsitektur Mistral dengan runtime
- 01
Model dan revisi bobot yang tepat
- 02
Arsitektur padat atau campuran pakar
- 03
Runtime, presisi, dan konteks yang didukung
Persyaratan konfigurasi
Model padat 7B dengan 16 bit memiliki sekitar 14 GB bobot dalam desimal. Sisakan memori untuk runtime dan konteks; jangan menganggap jumlah pengguna dari perkiraan ini.