Рішення архітектури
Сервер GPU та керований кінцевий пункт — різні продукти. Запит має містити модель операційної системи та одиницю вимірювання споживання.
GLOBALATLAS AI · Виведення штучного інтелекту
Виведення AI
Виведення виконує натреновану модель. Розмір вхідних даних, пакетування та довжина контексту визначають робочу пам’ять та ваги моделі.
Затримка або пропускна здатність пакету?
- 01
Інтерактивні запити: вимірювання часу першої відповіді
- 02
Пакетні завдання: вимірюйте завершені входи за інтервал часу
- 03
Відстежуйте пікову пам’ять для обраної довжини вхідних даних
Вимоги до конфігурації
Обирайте між VM з GPU, якою ви керуєте, та керованою точкою доступу. Публічний Finder наразі перевіряє пропозиції GPU VM, а не SLA керованої інференції.