تصمیم‌گیری معماری
حجم خانواده Llama را از نمونه 8B نکنید. کش زمینه و سربار زمان اجرا به حافظه وزن اضافه می‌شود.
GLOBALATLAS AI · زیرساخت برای Llama
زیرساخت برای Llama
Llama خانواده‌ای از مدل‌ها است. Llama 3.1 8B نمونه‌ای از مدل با 8 میلیارد پارامتر است، نه وعده ظرفیت برای هر نسخه Llama.
آماده‌سازی پروفایل استقرار Llama
- 01
نسخه، اندازه و مجوز مدل
- 02
دقت و حافظه زمان اجرا فراتر از وزن‌ها
- 03
قالب چت، زمینه و درخواست‌های ارزیابی
نیازهای پیکربندی
برای وزن‌های متراکم 8B در 16 بیت، برآورد وزن تنها 16 گیگابایت است. زمان اجرا و کش KV نیازمند حافظه اضافی هستند؛ مجوز مدل را بررسی کنید.