আর্কিটেকচার সিদ্ধান্ত
একটি GPU সার্ভার এবং একটি ব্যবস্থাপিত এন্ডপয়েন্ট আলাদা পণ্য। অনুরোধে অপারেটিং মডেল এবং ব্যবহারের জন্য ইউনিটের নাম উল্লেখ করতে হবে।
GLOBALATLAS AI · AI ইনফারেন্স
AI ইনফারেন্স
ইনফারেন্স একটি প্রশিক্ষিত মডেল চালায়। ইনপুট আকার, ব্যাচিং এবং প্রসঙ্গ দৈর্ঘ্য কাজের মেমরি এবং মডেল ওজন নির্ধারণ করে।
অপেক্ষা বা ব্যাচ থ্রুপুট?
- 01
ইন্টারেক্টিভ অনুরোধ: প্রথম প্রতিক্রিয়া বিলম্ব পরিমাপ করুন
- 02
ব্যাচ কাজ: সম্পন্ন ইনপুট পরিমাপ প্রতি সময়ের ব্যবধানে
- 03
নির্বাচিত ইনপুট দৈর্ঘ্যের জন্য শীর্ষ স্মৃতি ট্র্যাক করুন
কনফিগারেশন প্রয়োজনীয়তা
আপনি পরিচালিত GPU VM এবং একটি ব্যবস্থাপিত এন্ডপয়েন্টের মধ্যে সিদ্ধান্ত নিন। পাবলিক ফাইন্ডার বর্তমানে GPU VM অফারগুলি পরীক্ষা করে, ব্যবস্থাপিত ইনফারেন্স SLA নয়।