آرکیٹیکچر کا فیصلہ
ایک GPU سرور اور ایک منظم اینڈپوائنٹ مختلف مصنوعات ہیں۔ درخواست کو آپریٹنگ ماڈل اور استعمال کی پیمائش کے یونٹ کا نام لینا چاہیے۔
GLOBALATLAS AI · AI انفرنس
AI انفرنس
انفرنس ایک تربیت یافتہ ماڈل کو چلائے گا۔ ان پٹ سائز، بیچنگ اور سیاق و سباق کی لمبائی کام کرنے والی یادداشت اور ماڈل وزن کا تعین کرتی ہے۔
لیٹنسی یا بیچ تھروپٹ؟
- 01
انٹرایکٹو درخواستیں: پہلے ردعمل کی تاخیر کو ناپیں
- 02
بیچ جابز: مکمل شدہ ان پٹ کو ہر وقت کے وقفہ میں ناپیں
- 03
منتخب ان پٹ کی لمبائی کے لیے عروج کی یادداشت کا پتہ لگائیں
کنفیگریشن کی ضروریات
فیصلہ کریں کہ آپ ایک GPU VM آپریٹ کرتے ہیں یا ایک منظم اینڈپوائنٹ۔ عوامی فائنڈر فی الحال GPU VM آفرز چیک کرتا ہے، نہ کہ منظم انفرنس SLA۔