Keputusan seni bina
Pelayan GPU dan titik akhir yang diuruskan adalah produk berbeza. Permintaan mesti menyebut model operasi dan unit yang digunakan untuk mengukur penggunaan.
GLOBALATLAS AI · Inferens AI
Inferens AI
Inferens melaksanakan model yang dilatih. Saiz input, pengelasan dan panjang konteks menentukan memori kerja serta berat model.
Latensi atau melalui kumpulan?
- 01
Permintaan interaktif: ukur latensi respons pertama
- 02
Tugas berkelompok: ukur input lengkap setiap selang masa
- 03
Jejaki penggunaan memori puncak untuk panjang input yang dipilih
Keperluan konfigurasi
Putuskan sama ada menggunakan VM GPU yang anda kendalikan atau titik akhir yang diurus. Finder awam kini memeriksa tawaran VM GPU, bukan SLA inferens yang diurus.