არქიტექტურის გადაწყვეტილება
GPU სერვერი და მენეჯმენტული წერტილი განსხვავებული პროდუქტებია. მოთხოვნამ უნდა დაასახელოს ოპერაციული მოდელი და მოხმარების გაზომვის ერთეული.
GLOBALATLAS AI · AI ინტერპრეტაცია
AI ინფერენსი
ინტერპრეტაცია ახორციელებს ტრენირებულ მოდელს. შესვლის ზომა, ბაჩინგი და კონტექსტის სიგრძე განსაზღვრავს სამუშაო მეხსიერებას და მოდელის წონებს.
მიმწვანობა ან ბეჭდვის ბატარეა?
- 01
ინტერაქტიული მოთხოვნები: პირველი პასუხის ლატენტობის გაზომვა
- 02
ბაჩი სამუშაოები: გაზომეთ დასრულებული ინპუტები თითო დროის ინტერვალში
- 03
გამოიწერეთ პიკ მეხსიერება არჩეულ ინპუტ სიგრძეზე
კონფიგურაციის მოთხოვნები
გადაწყვეტილება შორის GPU VM და მართვადი წერტილი. საჯარო Finder-ი ამჟამად შემოწმებს GPU VM შეთავაზებებს, არა მართვადი ინფერენს SLA-ს.