آرکیٹیکچر کا فیصلہ
تمام Llama خاندان کو 8B مثال سے سائز نہ کریں۔ سیاق و سباق کیش اور رن ٹائم اوور ہیڈ وزن کی میموری کے علاوہ ہیں۔
GLOBALATLAS AI · Llama کے لیے انفراسٹرکچر
Llama کے لیے انفراسٹرکچر
Llama ماڈلز کا ایک خاندان ہے۔ Llama 3.1 8B ایک 8-ارب پیرا میٹر والے ماڈل کی مثال ہے، ہر Llama ریلیز کے لیے صلاحیت کا وعدہ نہیں۔
Llama تعیناتی پروفائل تیار کریں۔
- 01
ماڈل ورژن، سائز اور لائسنس
- 02
وزن سے آگے پریسیشن اور رن ٹائم یادداشت
- 03
چیٹ ٹیمپلیٹ، سیاق و سباق اور تشخیص کے پرامپٹس
کنفیگریشن کی ضروریات
8B گھنے وزن کے لیے 16 بٹس پر، وزن-صرف اندازہ 16 جی بی ہے۔ رن ٹائم اور KV کیش کو اضافی میموری کی ضرورت ہے؛ ماڈل لائسنسنگ چیک کریں۔