আর্কিটেকচার সিদ্ধান্ত
সাইজিংয়ের জন্য নির্বাচিত মডেল কার্ড ব্যবহার করুন। ডেনস 7B ওজনের জন্য স্মৃতি অনুমান অন্য Mistral রিলিজের জন্য পুনরায় ব্যবহার করা যাবে না।
GLOBALATLAS AI · Mistral এর জন্য অবকাঠামো
Mistral এর জন্য অবকাঠামো
Mistral 7B এবং অন্যান্য Mistral রিলিজের আকার এবং আর্কিটেকচার ভিন্ন। হার্ডওয়্যার সাইজিং এর আগে নির্দিষ্ট মডেল কার্ড নির্বাচন করুন।
Mistral আর্কিটেকচারটি রuntime এর সাথে মিল করুন
- 01
নির্দিষ্ট মডেল কার্ড এবং ওজন সংস্করণ
- 02
ঘন বা বিশেষজ্ঞ-প্রবণ আর্কিটেকচার
- 03
সমর্থিত রানটাইম, প্রিসিশন এবং প্রসঙ্গ
কনফিগারেশন প্রয়োজনীয়তা
16 বিটে 7B ডেনস মডেল প্রায় 14 GB ওজনের। রানটাইম এবং প্রসঙ্গের জন্য মেমরি রাখুন; সেই অনুমান থেকে ব্যবহারকারীর সংখ্যা নির্ধারণ করবেন না।