Deċiżjoni ta’ arkitettura
Tgħidx il-familja sħiħa ta' Llama minn eżempju ta' 8B. Il-cache tal-kuntest u l-overhead tal-runtime huma addizzjonali għall-memorja tal-piweight.
GLOBALATLAS AI · Infrastruktur għal Llama
Infrastruttura għal Llama
Llama hija familja ta' mudelli. Llama 3.1 8B hija eżempju ta' mudell b'8 biljuni ta' parametri, mhux wegħda ta' kapasità għal kull rilaxx ta' Llama.
Ippjana profil ta’ deploiment Llama
- 01
Verżjoni tal-mudell, daqs u licenzja
- 02
Preċiżjoni u memorja ta’ ħruġ wara l-piżijiet
- 03
Mudell ta' chat, kuntest u prompts ta' evalwazzjoni
Rekwiżiti ta' konfigurazzjoni
Għal piżijiet dens ta' 8B b’16 bit, l-estimazzjoni tal-piż biss hija 16 GB deċimal. Il-runtime u l-kaxxa KV jeħtieġu memorja addizzjonali; iċċekkja l-licenzja tal-mudell.