Vendimmarrja e arkitekturës
Mos e madhëroni familjen Llama nga një shembull 8B. Kesh i kontekstit dhe overhead i kohës së ekzekutimit janë shtesë ndaj memories së peshës.
GLOBALATLAS AI · Infrastruktura për Llama
Infrastruktura për Llama
Llama është një familje modelet. Llama 3.1 8B është një shembull i një modeli me 8 miliard parametra, jo një premtim kapaciteti për çdo version Llama.
Përgatit një profil vendosjeje Llama
- 01
Versioni i modelit, madhësia dhe licenca
- 02
Precizioni dhe memoria e kohëzgjatjes përtej peshave
- 03
Modeli i bisedës, konteksti dhe pyetjet e vlerësimit
Kërkesat e konfigurimit
Për 8B peshë të densitetit me 16 bit, vlerësimi i vetëm i peshës është 16 GB decimal. Koha e ekzekutimit dhe cache i KV kërkojnë memories shtesë; kontrolloni licencën e modelit.