Одлука за архитектура
GPU сервер и управувана точка се различни производи. Барањето мора да го наведе оперативниот модел и единицата за мерење на потрошувачката.
GLOBALATLAS AI · Ина inference
AI инференција
Инференцијата извршува обучен модел. Големината на влезот, групирањето и должината на контекстот одредуваат работната меморија и тежините на моделот.
Латенција или преку батчи?
- 01
Интерактивни барања: мерење на првиот одговорен латентен период
- 02
Пакетни задачи: мерење на завршени влезови по временски интервал
- 03
Следете ја врвната меморија за избраниот влезен должина
Барања за конфигурација
Одлучете меѓу GPU VM што ја управувате и управуваната точка за пристап. Јавниот Finder моментално проверува понуди за GPU VM, а не управуван SLA за инференца.