Архитектуралық шешім
GPU сервері және басқарылатын нүкте — әртүрлі өнімдер. Өтінім операциондық моделін және тұтынуды өлшеу бірлігін көрсету керек.
GLOBALATLAS AI · AI жасанды интеллекті
AI тұжырымдамасы
Жасанды интеллект оқытылған моделді орындайды. Кіріс көлемі, топтау және контекст ұзындығы жұмыс жадысын және модель салмағын анықтайды.
Кешігу немесе топтамалық өткізу қабілеті?
- 01
Интерактивті сұраулар: алғашқы жауап уақытын өлшеу
- 02
Топтық тапсырмалар: орындалған кірістерді уақыт аралығында өлшеу
- 03
Таңдалған кіріс ұзындығы үшін ең жоғары жадты бақылау
Конфигурациялық талаптар
GPU VM-мен жұмыс істейтін және басқарылатын соңғы нүкте арасындағы таңдауды жасаңыз. Ашық Finder қазіргі уақытта GPU VM ұсыныстарын тексереді, басқарылатын inference SLA-ны емес.