Architektúra döntés
Egy GPU szerver és egy kezelt végpont külön termékek. A kérésnek meg kell neveznie az operációs modellt és a fogyasztás mérésére használt egységet.
GLOBALATLAS AI · AI következtetés
AI inferencia
A következtetés egy kiképzett modell futtatását jelenti. A bemenet mérete, köteg és a kontextus hossza határozza meg a munkamemóriát és a modell súlyait.
Késleltetés vagy kötegelt áteresztés?
- 01
Interaktív kérések: első válasz késleltetésének mérése
- 02
Csoportos feladatok: mérje a befejezett bemeneteket időegységenként
- 03
Csúcs memória nyomon követése a kiválasztott bemeneti hossz esetén
Konfigurációs követelmények
Döntsön GPU VM és menedzselt végpont között. A nyilvános Finder jelenleg GPU VM ajánlatokat ellenőriz, nem menedzselt inferencia SLA-t.