Architectuurbesluit
Sizeer de volledige Llama-familie niet op basis van een 8B voorbeeld. Contextcache en runtime-overhead zijn extra op het geheugengewicht.
GLOBALATLAS AI · Infrastructuur voor Llama
Infrastructuur voor Llama
Llama is een familie van modellen. Llama 3.1 8B is een voorbeeld van een model met 8 miljard parameters, geen belofte voor capaciteit bij elke Llama-release.
Bereid een Llama-implementatieprofiel voor
- 01
Modelversie, grootte en licentie
- 02
Precisie en runtime-geheugen buiten gewichten
- 03
Chat-sjabloon, context en evaluatie prompts
Vereisten voor configuratie
Voor 8B dichte gewichten bij 16 bits, is de gewicht-alleen schatting 16 GB decimaal. Runtime en KV-cache vereisen extra geheugen; controleer modellicentie.