Mimari kararı
Bir GPU sunucusu ve yönetilen uç nokta farklı ürünlerdir. Talep, işletim modeli ve tüketim ölçüsü kullanılan birimi adlandırmalıdır.
GLOBALATLAS AI · AI çıkarımı
AI çıkarma
Çıkarım, eğitilmiş bir modeli çalıştırır. Giriş boyutu, toplama ve bağlam uzunluğu çalışma belleği ve model ağırlıklarını belirler.
G gecikmesi veya toplu işleme hızı mı?
- 01
İnteraktif istekler: ilk yanıt gecikmesini ölçün
- 02
Toplu işler: tamamlanan girişleri zaman aralığı başına ölçün
- 03
Seçilen giriş uzunluğu için maksimum belleği izleyin
Yapılandırma gereksinimleri
Bir GPU VM ile yönettiğiniz ve bir yönetilen uç nokta arasında karar verin. Kamu Finder şu anda GPU VM tekliflerini kontrol eder, yönetilen çıkarım SLA'sını değil.