Deċiżjoni ta’ arkitettura
Server GPU u punt ta’ servizz mmaniġġjat huma prodotti differenti. It-talba għandha tissejjaħ il-mudell operattiv u l-unità użata biex timmonitorja l-konsum.
GLOBALATLAS AI · Infernza AI
Inferenza ta’ AI
L-inferenza twettaq mudell mħarreġ. Id-daqs tal-input, il-batching u l-kontest ta' tul jiddeterminaw il-memorja li taħdem u l-piżijiet tal-mudell.
Latenza jew throughput tal-batch?
- 01
Talbiet interattivi: kejl tal-latency tar-risposta l-ewwel
- 02
Xogħolijiet batch: kejl ta' inputs kompluti kull intervall ta' żmien
- 03
Segwi l-peak ta’ memorja għall-input magħżul
Rekwiżiti ta' konfigurazzjoni
Deciedi bejn VM GPU li toħloq u endpoint immaniġġjat. Il-Finder pubbliku bħalissa jikkontrolla offerti ta' VM GPU, mhux SLA ta' inferenza immaniġġjat.