قرار الهندسة المعمارية
لا تقم بحجم عائلة Llama بالكامل من مثال 8B. ذاكرة السياق والعبء الزمني إضافيان إلى وزن الذاكرة.
الذكاء الاصطناعي GlobalAtlas · بنية تحتية لـ Llama
البنية التحتية لـ Llama
Llama هو عائلة من النماذج. Llama 3.1 8B هو مثال على نموذج بـ 8 مليارات معلمة، وليس وعدًا بسعة لكل إصدار من Llama.
إعداد ملف تعريف نشر Llama
- 01
إصدار النموذج، الحجم والترخيص
- 02
الدقة والذاكرة الزمنية بعد الأوزان
- 03
نموذج الدردشة، السياق ومحفزات التقييم
متطلبات التكوين
لـ أوزان كثيفة 8B عند 16 بت، التقدير فقط للوزن هو 16 جيجابايت عشري. يحتاج وقت التشغيل وذاكرة التخزين المؤقت KV إلى ذاكرة إضافية؛ تحقق من ترخيص النموذج.