Architektúra döntés
Ne méretezze az egész Llama családot egy 8B példánnyal. A kontextus cache és a futásidejű overhead további memóriaigény.
GLOBALATLAS AI · Infrastruktúra Llama számára
Infrastruktúra Llama számára
Llama egy modellcsalád. A Llama 3.1 8B például egy 8 milliárd paraméteres modell, nem minden Llama kiadás kapacitásígérete.
Llama telepítési profil előkészítése
- 01
Modell verzió, méret és licenc
- 02
Pontosság és futási memória a súlyokon túl
- 03
Csevegő sablon, kontextus és értékelő promptok
Konfigurációs követelmények
8B sűrűsúlyok esetén 16 bites, a súlyok csak becslése 16 GB tizedes érték. A futásidő és a KV gyorsítótár további memóriát igényel; ellenőrizze a modell licencelését.