تصمیم‌گیری معماری
سرور GPU و نقطه پایانی مدیریت شده، محصولات متفاوتی هستند. درخواست باید مدل عملیاتی و واحد مصرف را مشخص کند.
GLOBALATLAS AI · استنتاج AI
استنتاج AI
استنتاج یک مدل آموزش‌دیده را اجرا می‌کند. اندازه ورودی، دسته‌بندی و طول زمینه، حافظه کاری و وزن‌های مدل را تعیین می‌کنند.
تاخیر یا توان عملیاتی دسته‌ای؟
- 01
درخواست‌های تعاملی: اندازه‌گیری تأخیر پاسخ اولیه
- 02
وظایف دسته‌ای: اندازه‌گیری ورودی‌های تکمیل شده در هر بازه زمانی
- 03
حداکثر حافظه برای طول ورودی انتخاب شده را پیگیری کنید
نیازهای پیکربندی
تصمیم‌گیری بین یک ماشین مجازی GPU که خودتان اداره می‌کنید و یک نقطه انتهایی مدیریت شده. فایندر عمومی در حال حاضر پیشنهادهای GPU VM را بررسی می‌کند، نه SLA استنتاج مدیریت شده.