আর্কিটেকচার সিদ্ধান্ত
8B উদাহরণ থেকে Llama পরিবারের পুরো আকার নির্ধারণ করবেন না। প্রসঙ্গ ক্যাশ এবং রানটাইম ওভারহেড ওজনের মেমরির উপর অতিরিক্ত।
GLOBALATLAS AI · Llama এর জন্য অবকাঠামো
Llama এর জন্য অবকাঠামো
Llama একটি মডেল পরিবারের। Llama 3.1 8B একটি 8-অর্থের মডেলের উদাহরণ, প্রতিটি Llama রিলিজের জন্য ক্ষমতা প্রতিশ্রুতি নয়।
Llama ডিপ্লয়মেন্ট প্রোফাইল প্রস্তুত করুন
- 01
মডেল সংস্করণ, আকার এবং লাইসেন্স
- 02
ওজনের বাইরে প্রিসিশন ও রানটাইম মেমরি
- 03
চ্যাট টেমপ্লেট, প্রসঙ্গ এবং মূল্যায়ন প্রম্পট
কনফিগারেশন প্রয়োজনীয়তা
8B ঘন ওজনের জন্য 16 বিটে, ওজন-শুধু অনুমান 16 GB দশমিক। রানটাইম এবং KV ক্যাশ অতিরিক্ত মেমরি প্রয়োজন; মডেল লাইসেন্সিং পরীক্ষা করুন।