Decyzja architektoniczna
Serwer GPU i zarządzany punkt końcowy to różne produkty. Wniosek musi zawierać nazwę modelu operacyjnego i jednostkę pomiaru zużycia.
GLOBALATLAS AI · Wnioskowanie AI
Inferencja AI
Wnioskowanie uruchamia wytrenowany model. Rozmiar wejścia, batching i długość kontekstu określają pamięć roboczą oraz wagi modelu.
Opóźnienie czy przepustowość wsadowa?
- 01
Zapytania interaktywne: zmierz opóźnienie pierwszej odpowiedzi
- 02
Zadania wsadowe: mierzenie ukończonych wejść na jednostkę czasu
- 03
Monitoruj szczytową pamięć dla wybranego długości wejścia
Wymagania dotyczące konfiguracji
Wybierz między VM GPU, którą obsługujesz, a zarządzanym punktem końcowym. Publiczny Finder obecnie sprawdza oferty VM GPU, nie zarządzane SLA inferencji.