Keputusan arsitektur
Server GPU dan endpoint terkelola adalah produk berbeda. Permintaan harus menyebutkan model operasi dan satuan yang digunakan untuk mengukur konsumsi.
GLOBALATLAS AI · Inferensi AI
Inferensi AI
Inferensi menjalankan model terlatih. Ukuran input, batching, dan panjang konteks menentukan memori kerja serta bobot model.
Latensi atau throughput batch?
- 01
Permintaan interaktif: ukur latensi respons pertama
- 02
Pekerjaan batch: ukur input yang selesai per interval waktu
- 03
Lacak memori puncak untuk panjang input yang dipilih
Persyaratan konfigurasi
Putuskan antara VM GPU yang Anda operasikan dan endpoint yang dikelola. Finder publik saat ini memeriksa penawaran VM GPU, bukan SLA inferensi yang dikelola.