Выбор архитектуры
GPU-сервер и управляемый endpoint — разные продукты. В запросе укажите модель управления и единицу измерения потребления.
GLOBALATLAS AI · AI-инференс
AI-инференс
Инференс выполняет обученную модель. Размер входа, пакетирование и длина контекста определяют рабочую память наряду с весами.
Задержка ответа или объём обработки?
- 01
Интерактивные запросы: измерить задержку первого ответа
- 02
Пакетные задания: измерить число обработанных входов за период
- 03
Отследить пиковую память при выбранной длине входа
Требования к конфигурации
Выберите самостоятельно управляемую GPU VM или управляемый endpoint. Публичный Finder сейчас проверяет GPU VM, а не SLA управляемого инференса.