Keputusan seni bina
Jangan saiz seluruh keluarga Llama dari contoh 8B. Cache konteks dan overhead runtime adalah tambahan kepada memori berat.
GLOBALATLAS AI · Infrastruktur untuk Llama
Infrastruktur untuk Llama
Llama adalah keluarga model. Llama 3.1 8B adalah contoh model dengan 8 bilion parameter, bukan janji kapasiti untuk setiap keluaran Llama.
Sediakan profil pengedaran Llama
- 01
Versi model, saiz dan lesen
- 02
Ketepatan dan memori runtime melebihi berat
- 03
Templat sembang, konteks dan prompt penilaian
Keperluan konfigurasi
Untuk berat padat 8B pada 16 bit, anggaran berat sahaja adalah 16 GB desimal. Runtime dan cache KV memerlukan memori tambahan; semak lesen model.