Решение за архитектура
GPU сървър и управляема крайна точка са различни продукти. Заявката трябва да посочи операционния модел и единицата за измерване на потреблението.
GLOBALATLAS AI · Извеждане на AI
AI inference
Извеждането изпълнява обучен модел. Размерът на входа, батчингът и дължината на контекста определят работната памет и теглата на модела.
Латентност или пакетна пропускателна способност?
- 01
Интерактивни заявки: измерване на първоначалната латентност на отговора
- 02
Пакетни задачи: измерване на завършени входове за определен интервал от време
- 03
Следете пиковата памет за избрания входен дължина
Изисквания за конфигурация
Решете между GPU VM, която управлявате, и управляван крайна точка. Публичният Finder в момента проверява офертите за GPU VM, а не управлявано SLA за inference.