आर्किटेक्चर निर्णय
GPU सर्व्हर आणि व्यवस्थापित एंडपॉइंट वेगवेगळे उत्पादने आहेत. विनंती ऑपरेटिंग मॉडेल आणि वापर मोजमापासाठी वापरल्या जाणाऱ्या युनिटचे नाव असावे.
GLOBALATLAS AI · AI अनुमान
AI इनफरन्स
अनुमान एक प्रशिक्षित मॉडेल कार्यान्वित करते. इनपुट आकार, बॅचिंग आणि संदर्भ लांबी कार्य स्मृती आणि मॉडेल वजन निश्चित करतात.
विलंबता किंवा बॅच थ्रूपुट?
- 01
इंटरॅक्टिव विनंत्या: पहिल्या प्रतिसादाची विलंबता मोजा
- 02
बॅच जॉब्स: वेळेच्या अंतराळात पूर्ण केलेल्या इनपुट्सचे मोजमाप
- 03
निवडलेल्या इनपुट लांबीसाठी पीक मेमोरी ट्रॅक करा
कॉन्फिगरेशन आवश्यकता
GPU VM आणि व्यवस्थापित एंडपॉइंट यामध्ये निर्णय घ्या. सार्वजनिक फाइंडर सध्या GPU VM ऑफर्स तपासत आहे, व्यवस्थापित अनुमान SLA नाही.