Mimari kararı
Tüm Llama ailesini 8B örneğinden boyutlandırmayın. Bağlam önbelleği ve çalışma zamanı ek bellek gerektirir.
GLOBALATLAS AI · Llama için altyapı
Llama için altyapı
Llama, bir model ailesidir. Llama 3.1 8B, 8 milyar parametreli bir model örneğidir; her Llama sürümü için kapasite sözü değildir.
Llama dağıtım profilini hazırlayın
- 01
Model sürümü, boyutu ve lisansı
- 02
Ağırlıkların ötesinde hassasiyet ve çalışma zamanı belleği
- 03
Sohbet şablonu, bağlam ve değerlendirme istemleri
Yapılandırma gereksinimleri
16 bit ile 8B yoğun ağırlıklar için, ağırlık sadece tahmini 16 GB ondalıktır. Çalışma zamanı ve KV önbelleği ek bellek gerektirir; model lisanslamasını kontrol edin.