Odluka o arhitekturi
Nemojte dimenzionirati cijelu obitelj Llama od primjera od 8B. Keširanje konteksta i vrijeme izvođenja su dodatni na memoriju težine.
GLOBALATLAS AI · Infrastruktura za Llama
Infrastruktura za Llama
Llama je obitelj modela. Llama 3.1 8B je primjer modela s 8 milijardi parametara, a ne jamstvo kapaciteta za svako izdanje Llama.
Pripremite profil za implementaciju Llama
- 01
Verzija modela, veličina i licenca
- 02
Preciznost i memorija za vrijeme izvođenja izvan težina
- 03
Predložak za chat, kontekst i upite za evaluaciju
Zahtjevi za konfiguraciju
Za 8B gustoće težina pri 16 bitova, procjena težine je 16 GB decimalno. Vrijeme izvođenja i KV predmemorija zahtijevaju dodatnu memoriju; provjerite licencu modela.