Απόφαση αρχιτεκτονικής
Ένας διακομιστής GPU και ένα διαχειριζόμενο σημείο τερματισμού είναι διαφορετικά προϊόντα. Η αίτηση πρέπει να αναφέρει το λειτουργικό μοντέλο και τη μονάδα μέτρησης κατανάλωσης.
GLOBALATLAS AI · Επεξεργασία AI
Επεξεργασία AI
Η επεξεργασία εκτελεί ένα εκπαιδευμένο μοντέλο. Το μέγεθος εισόδου, η παρτίδα και το μήκος πλαισίου καθορίζουν τη διαθέσιμη μνήμη εργασίας και τα βάρη του μοντέλου.
Χρόνος καθυστέρησης ή μέσω παρτίδας;
- 01
Διαδραστικά αιτήματα: μέτρηση χρόνου απόκρισης πρώτης απάντησης
- 02
Ομαδικές εργασίες: μέτρηση ολοκληρωμένων εισόδων ανά χρονικό διάστημα
- 03
Παρακολουθήστε την κορυφαία μνήμη για το επιλεγμένο μήκος εισόδου
Απαιτήσεις διαμόρφωσης
Αποφασίστε μεταξύ ενός GPU VM που λειτουργείτε και ενός διαχειριζόμενου τερματικού. Ο δημόσιος Finder ελέγχει τρέχουσες προσφορές GPU VM, όχι SLA διαχείρισης inference.