Odločitev o arhitekturi
Ne določajte velikosti celotne družine Llama iz primera 8B. Predpomnilnik konteksta in časovni stroški so dodatni k teži pomnilnika.
GLOBALATLAS AI · Infrastruktura za Llama
Infrastruktura za Llama
Llama je družina modelov. Llama 3.1 8B je primer modela z 8 milijardami parametrov, ne pa obljuba kapacitet za vsako izdajo Llama.
Pripravite profil uvajanja Llama
- 01
Različica modela, velikost in licenca
- 02
Natančnost in čas izvajanja pomnilnika nad težami
- 03
Predloga za klepet, kontekst in spodbude za ocenjevanje
Zahteve za konfiguracijo
Za 8B goste težke uteži pri 16 bitih je ocena teže 16 GB decimalno. Čas izvajanja in KV predpomnilnik zahtevata dodatni pomnilnik; preverite licenco modela.