Decisió d'arquitectura
No dimensionis tota la família Llama a partir d'un exemple de 8B. La memòria de context i l'overhead d'execució són addicionals a la memòria de pes.
GLOBALATLAS AI · Infraestructura per Llama
Infraestructura per Llama
Llama és una família de models. Llama 3.1 8B és un exemple d'un model de 8 mil milions de paràmetres, no una promesa de capacitat per a cada llançament de Llama.
Prepara un perfil de desplegament de Llama
- 01
Versió del model, mida i llicència
- 02
Precisió i memòria d'execució més enllà dels pesos
- 03
Plantilla de xat, context i indicacions d'avaluació
Requisits de configuració
Per a pesos densos de 8B a 16 bits, l'estimació només de pesos és de 16 GB decimal. La memòria en temps d'execució i la memòria cau KV necessiten memòria addicional; comprova la llicència del model.