Arkitekturbeslutning
Stør ikke hele Llama-familien ud fra et 8B eksempel. Kontextcache og runtime-overhead er tillæg til vægt-hukommelsen.
GLOBALATLAS AI · Infrastruktur til Llama
Infrastruktur til Llama
Llama er en familie af modeller. Llama 3.1 8B er et eksempel på en model med 8 milliarder parametre, ikke en kapacitetsgaranti for hver Llama-udgivelse.
Forbered en Llama-implementeringsprofil
- 01
Modelversion, størrelse og licens
- 02
Præcision og runtime-hukommelse ud over vægte
- 03
Chat-skabelon, kontekst og evalueringsprompt
Krav til konfiguration
For 8B tætte vægte ved 16 bits er vægt- alene estimatet 16 GB decimal. Runtime og KV-cache kræver yderligere hukommelse; tjek modellicensering.