Arkkitehtuuripäätös
GPU-palvelin ja hallinnoitu päätepiste ovat eri tuotteita. Pyyntössä on mainittava käyttömalli ja kulutuksen mittaamiseen käytetty yksikkö.
GLOBALATLAS AI · AI-inferenssi
AI-inferenssi
Inferenssi suorittaa koulutetun mallin. Syötteen koko, erä ja kontekstin pituus määrittelevät työmuistin sekä mallin painot.
Viive vai eränopeus?
- 01
Interaktiiviset pyynnöt: ensimmäisen vasteajan mittaus
- 02
Eräajot: mitataan suoritettujen syötteiden määrä aikavälillä
- 03
Seuraa huippumuistia valitulle syötteen pituudelle
Kokoonpanovaatimukset
Päätä GPU-virtuaalikoneen ja hallinnoidun päätepisteen välillä. Julkinen Finder tarkistaa tällä hetkellä GPU VM -tarjoukset, ei hallinnoituja inferenssipalveluita.