Decizie de arhitectură
Nu dimensiona întreaga familie Llama dintr-un exemplu de 8B. Cache-ul de context și overhead-ul de runtime sunt suplimentare față de memoria de greutate.
GLOBALATLAS AI · Infrastructură pentru Llama
Infrastructură pentru Llama
Llama este o familie de modele. Llama 3.1 8B este un exemplu de model cu 8 miliarde de parametri, nu o promisiune de capacitate pentru fiecare versiune Llama.
Pregătiți un profil de implementare Llama
- 01
Versiunea modelului, dimensiunea și licența
- 02
Precizie și memorie de rulare dincolo de greutăți
- 03
Șablon de chat, context și prompturi de evaluare
Cerinte de configurare
Pentru greutăți dense de 8B la 16 biți, estimarea doar pentru greutate este de 16 GB decimal. Runtime-ul și cache-ul KV necesită memorie suplimentară; verifică licența modelului.