आर्किटेक्चर निर्णय
एक GPU सर्वर और एक प्रबंधित एंडपॉइंट अलग उत्पाद हैं। अनुरोध में ऑपरेटिंग मॉडल और खपत मापने वाली इकाई का नाम होना चाहिए।
GLOBALATLAS AI · AI इनफेरेंस
AI इनफेरेंस
इनफेरेंस एक प्रशिक्षित मॉडल को निष्पादित करता है। इनपुट आकार, बैचिंग और संदर्भ लंबाई कार्यशील मेमोरी और मॉडल वज़न दोनों को निर्धारित करते हैं।
विलंबता या बैच थ्रूपुट?
- 01
इंटरेक्टिव अनुरोध: पहली प्रतिक्रिया विलंबता मापें
- 02
बैच जॉब्स: प्रति समय अंतराल में पूर्ण इनपुट मापें
- 03
चयनित इनपुट लंबाई के लिए पीक मेमोरी ट्रैक करें
कॉन्फ़िगरेशन आवश्यकताएँ
निर्णय लें कि आप ऑपरेट और प्रबंधित अंत बिंदु के बीच किसे चुनते हैं। सार्वजनिक फाइंडर वर्तमान में GPU VM प्रस्तावों की जांच करता है, न कि प्रबंधित इनफेरेंस SLA।