Keputusan seni bina
Gunakan kad model yang dipilih untuk saiz. Anggaran memori untuk berat 7B yang padat tidak boleh digunakan semula untuk keluaran Mistral yang berbeza.
GLOBALATLAS AI · Infrastruktur untuk Mistral
Infrastruktur untuk Mistral
Mistral 7B dan keluaran Mistral lain berbeza dari segi saiz dan seni bina. Pilih kad model tertentu sebelum saiz perkakasan.
Padankan seni bina Mistral dengan runtime
- 01
Kad model dan semakan berat yang tepat
- 02
Senibina padat atau campuran pakar
- 03
Runtime, ketepatan dan konteks yang disokong
Keperluan konfigurasi
Model padat 7B pada 16 bit mempunyai kira-kira 14 GB berat sahaja. Tinggalkan memori untuk masa berjalan dan konteks; jangan anggap bilangan pengguna dari anggaran itu.