Rozhodnutí o architektuře
Nepočítejte celý rod Llama od příkladu 8B. Cache kontextu a doba běhu jsou navíc k váze paměti.
GLOBALATLAS AI · Infrastruktura pro Llama
Infrastruktura pro Llama
Llama je rodina modelů. Llama 3.1 8B je příkladem modelu s 8 miliardami parametrů, nikoliv zárukou kapacity pro každé vydání Llama.
Připravte profil nasazení Llama
- 01
Verze modelu, velikost a licence
- 02
Přesnost a doba běhu paměti nad váhami
- 03
Šablona chatu, kontext a podněty k hodnocení
Požadavky na konfiguraci
Pro 8B husté váhy při 16 bitech je odhad váhy pouze 16 GB v desítkovém zápisu. Runtime a KV cache potřebují další paměť; zkontrolujte licenci modelu.