Decyzja architektoniczna
Nie rozmiaruj całej rodziny Llama na podstawie przykładu 8B. Pamięć podręczna kontekstu i narzuty czasu wykonania są dodatkiem do pamięci wag.
GLOBALATLAS AI · Infrastruktura dla Llama
Infrastruktura dla Llama
Llama to rodzina modeli. Llama 3.1 8B to przykład modelu z 8 miliardami parametrów, nie gwarancja pojemności dla każdej wersji Llama.
Przygotuj profil wdrożenia Llama
- 01
Wersja modelu, rozmiar i licencja
- 02
Precyzja i pamięć runtime poza wagami
- 03
Szablon czatu, kontekst i prompty oceny
Wymagania dotyczące konfiguracji
Dla 8B gęstych wag przy 16 bitach, oszacowanie wag to 16 GB dziesiętnie. Runtime i pamięć podręczna KV potrzebują dodatkowej pamięci; sprawdź licencję modelu.