Արխիտեկտուրայի որոշում
Մի չափեք ամբողջ Llama ընտանիքը 8B օրինակով։ Կոնտեքստային կեշը և գործարկման ավելորդությունը ավելորդ են հիշողության վրա։
GLOBALATLAS AI · Սնուցում Llama-ի համար
Llama-ի համար ենթակառուցվածք
Llama մոդելների ընտանիք է։ Llama 3.1 8B-ը օրինակ է՝ 8 միլիարդ պարամետրային մոդել, ոչ՝ յուրաքանչյուր Llama թողարկման համար։
Llama տեղադրման պրոֆիլ պատրաստել
- 01
Մոդելի տարբերակ, չափ և լիցենզիա
- 02
Արագություն և գործարկման հիշողություն՝ քաշային տվյալներից դուրս
- 03
Չատ ձևանմուշ, կոնտեքստ և գնահատման հրահանգներ
Կոնֆիգուրացիայի պահանջներ
8B խիտ քաշայինների համար 16 բիթով, քաշի միայն գնահատականը 16 ԳԲ տասնորդական է։ Գործարկման և KV կեշը պահանջում են լրացուցիչ հիշողություն։ Ստուգեք մոդելի լիցենզիան։