Arhitektuuripõhimõte
GPU server ja hallatav lõpp-punkt on erinevad tooted. Taotluses tuleb nimetada kasutusmudel ja kasutatava tarbimise mõõtühik.
GLOBALATLAS AI · AI eeltöötlus
AI inferents
Eeltöötlus käivitab treenitud mudeli. Sisendi suurus, partii ja kontekstipikkus määravad töömälu ning mudeli kaalud.
Viivitusaeg või partii läbilaskevõime?
- 01
Interaktiivsed taotlused: mõõda esimese vastuse latentsus
- 02
Partiiülesanded: mõõda täidetud sisendeid ajavahemiku kohta
- 03
Jälgi tippmälu valitud sisendi pikkuse jaoks
Nõuded konfiguratsioonile
Otsusta GPU VM ja hallatud lõpp-punkti vahel. Avalik Finder kontrollib hetkel GPU VM pakkumisi, mitte hallatud inferents SLA-d.