Keputusan arsitektur
Jangan ukur seluruh keluarga Llama dari contoh 8B. Cache konteks dan overhead runtime adalah tambahan dari memori bobot.
GLOBALATLAS AI · Infrastruktur untuk Llama
Infrastruktur untuk Llama
Llama adalah keluarga model. Llama 3.1 8B adalah contoh model dengan 8 miliar parameter, bukan janji kapasitas untuk setiap rilis Llama.
Siapkan profil penyebaran Llama
- 01
Versi model, ukuran, dan lisensi
- 02
Presisi dan memori runtime di luar bobot
- 03
Template chat, konteks, dan prompt evaluasi
Persyaratan konfigurasi
Untuk bobot padat 8B dengan 16 bit, perkiraan bobot saja adalah 16 GB desimal. Runtime dan cache KV memerlukan memori tambahan; periksa lisensi model.