قرار الهندسة المعمارية
خادم GPU ونقطة نهاية مُدارة هما منتجان مختلفان. يجب أن يذكر الطلب نموذج التشغيل والوحدة المستخدمة لقياس الاستهلاك.
الذكاء الاصطناعي GlobalAtlas · استنتاج الذكاء الاصطناعي
استنتاج الذكاء الاصطناعي
يُنفذ الاستنتاج نموذجًا مدربًا. حجم الإدخال، الدُفعات، وطول السياق تحدد الذاكرة العاملة وأوزان النموذج.
الكمون أو معدل المعالجة الدُفعي؟
- 01
طلبات تفاعلية: قياس زمن الاستجابة الأول
- 02
وظائف الدُفعة: قياس المدخلات المكتملة لكل فترة زمنية
- 03
تتبع الذروة في الذاكرة للطول المدخل المختار
متطلبات التكوين
اختر بين VM GPU التي تديرها ونقطة نهاية مُدارة. حالياً، يتحقق Finder من عروض VM GPU، وليس SLA الاستنتاج المُدار.