Rozhodnutie o architektúre
Neveďte veľkosť celej rodiny Llama z príkladu 8B. Vyrovnávacia pamäť kontextu a prevádzkové režijné náklady sú navyše k váhe pamäte.
GLOBALATLAS AI · Infrastruktúra pre Llama
Infrastruktúra pre Llama
Llama je rodina modelov. Llama 3.1 8B je príklad modelu s 8 miliardami parametrov, nie sľub kapacity pre každé vydanie Llama.
Pripravte profil nasadenia Llama
- 01
Verzia modelu, veľkosť a licencia
- 02
Presnosť a doba behu pamäte nad váhami
- 03
Šablóna chatu, kontext a hodnotiace podnety
Požiadavky na konfiguráciu
Pre 8B hustých váh pri 16 bitoch je odhad váhy iba 16 GB v desiatkovej sústave. Prevádzka a KV cache potrebujú ďalšiu pamäť; skontrolujte licenciu modelu.