Odluka o arhitekturi
Nemojte dimenzionirati cijelu Llama obitelj od primjera od 8B. Keširanje konteksta i vrijeme izvođenja su dodatni na težinu memorije.
GLOBALATLAS AI · Infrastruktura za Llama
Infrastruktura za Llama
Llama je porodica modela. Llama 3.1 8B je primjer modela s 8 milijardi parametara, a ne garancija kapaciteta za svako izdanje Llama.
Pripremite profil za implementaciju Llama
- 01
Verzija modela, veličina i licenca
- 02
Preciznost i memorija za vrijeme izvođenja izvan težina
- 03
Predložak za chat, kontekst i upite za evaluaciju
Zahtjevi za konfiguraciju
Za 8B gustoće težina od 16 bita, procjena težine je 16 GB decimalno. Vrijeme izvođenja i KV keš trebaju dodatnu memoriju; provjerite licencu modela.