Decisione di architettura
Non dimensionare l'intera famiglia Llama da un esempio da 8B. La cache di contesto e l'overhead di runtime sono aggiuntivi alla memoria di peso.
GLOBALATLAS AI · Infrastruttura per Llama
Infrastruttura per Llama
Llama è una famiglia di modelli. Llama 3.1 8B è un esempio di modello con 8 miliardi di parametri, non una promessa di capacità per ogni rilascio Llama.
Prepara un profilo di distribuzione Llama
- 01
Versione del modello, dimensione e licenza
- 02
Precisione e memoria di runtime oltre ai pesi
- 03
Modello di chat, contesto e prompt di valutazione
Requisiti di configurazione
Per pesi densi da 8B a 16 bit, la stima solo dei pesi è di 16 GB decimali. Runtime e cache KV richiedono memoria aggiuntiva; verifica la licenza del modello.