Keputusan arsitektur
Server GPU lan endpoint terkelola iku produk sing beda. Permintaan kudu nyebutake model operasi lan unit sing digunakake kanggo ngukur konsumsi.
GLOBALATLAS AI · Inferensi AI
Inferensi AI
Inferensi nglakokake model sing wis dilatih. Ukuran input, batching lan panjang konteks nemtokake memori kerja uga bobot model.
Latensi utawa throughput batch?
- 01
Permintaan interaktif: ukur latensi tanggapan pertama
- 02
Tugas batch: ngukur input sing wis rampung saben interval wektu
- 03
Lacak memori puncak kanggo dawa input sing dipilih
Syarat konfigurasi
Putusake antar VM GPU sing sampeyan operasi lan endpoint sing dikelola. Finder umum saiki mriksa tawaran VM GPU, dudu SLA inference sing dikelola.