Odluka o arhitekturi
Ne dimenzionišite celu Llama porodicu od primera od 8B. Keš konteksta i runtime overhead su dodatni u odnosu na težinu memorije.
GLOBALATLAS AI · Infrastruktura za Llama
Infrastruktura za Llama
Llama je porodica modela. Llama 3.1 8B je primer modela sa 8 milijardi parametara, a ne garancija kapaciteta za svako izdanje Llama.
Pripremite profil za implementaciju Llama
- 01
Verzija modela, veličina i licenca
- 02
Preciznost i memorija za vreme izvršavanja izvan težina
- 03
Šablon za chat, kontekst i podsticaji za evaluaciju
Zahtevi za konfiguraciju
Za 8B gustih težina od 16 bita, procena težine je 16 GB decimalno. Runtime i KV keš zahtevaju dodatnu memoriju; proverite licencu modela.