Keputusan arsitektur
Gunakake kartu model sing dipilih kanggo ukuran. Estimasi memori kanggo bobot 7B sing padat ora bisa digunakake maneh kanggo rilis Mistral sing beda.
GLOBALATLAS AI · Infrastruktur kanggo Mistral
Infrastruktur kanggo Mistral
Mistral 7B lan rilis Mistral liyane beda ing ukuran lan arsitektur. Pilih model tartamtu sadurunge nyetel hardware.
Cocogake arsitektur Mistral karo runtime
- 01
Kartu model lan revisi bobot sing tepat
- 02
Arsitektur padat utawa campuran pakar
- 03
Runtime, presisi lan konteks sing didhukung
Syarat konfigurasi
Model padhet 7B kanthi 16 bit kira-kira nduweni 14 GB bobot. Tinggalake memori kanggo runtime lan konteks; aja nyimpulake jumlah pangguna saka perkiraan iki.