प्रशिक्षण
वजन, ऑप्टिमाइज़र स्टेट और सक्रियण के लिए मेमोरी आवंटित करें। मल्टी-GPU प्रशिक्षण के लिए उपयुक्त इंटरकनेक्ट भी आवश्यक है।
हॉपपर · डेटा सेंटर
कठिन AI कार्यभार के लिए NVIDIA H100
80 GB HBM3 मेमोरी उन वर्कलोड के लिए जहां मेमोरी बजट वास्तुकला को आकार देता है। अपने प्रशिक्षण या इनफेरेंस सर्वर को मॉडल, डेटासेट और GPU टोपोलॉजी के आसपास योजना बनाएं।
विन्यास देखें।आपका सर्वर
अपने वर्कलोड के चारों ओर निर्माण करें
GPU मेमोरी सर्वर का एक भाग है। पूरी कॉन्फ़िगरेशन जांचने के लिए CPU, सिस्टम RAM, संग्रहण और क्षेत्र निर्दिष्ट करें।
- मॉडल का आकार और मेमोरी बजट
- सीपीयू, RAM और डेटासेट संग्रहण
- क्षेत्र और तैनाती आवश्यकताएँ
वर्कलोड्स
जब मेमोरी सबसे अधिक महत्वपूर्ण हो
LLM इनफेरेंस
मॉडल और KV कैश के लिए VRAM की योजना बनाएं। संदर्भ लंबाई और समकालीन अनुरोध मेमोरी मांग को प्रभावित करते हैं।
वैज्ञानिक गणना
अपनी गणना से पहले संख्यात्मक सटीकता और CUDA सॉफ्टवेयर आवश्यकताओं को मेल खाएं।
स्थान
अपने वर्कलोड के लिए क्षेत्र चुनें
अपने डेटा और उपयोगकर्ताओं के पास कंप्यूट रखें। क्षमता चुने गए मॉडल और स्थान के लिए जाँच की जाती है।
यूरोप।
अनुरोध पर उपलब्धता
यूएसए
अनुरोध पर उपलब्धता
एशिया
अनुरोध पर उपलब्धता
तुलना करें
एक अलग मेमोरी बजट पर विचार करें।
अम्पीयर80 GB
NVIDIA A100
स्थापित CUDA वर्कलोड और मॉडल प्रशिक्षण।
- मेमोरी
- HBM2e
- स्थिति
- अनुरोध पर
अनुरोध पर मूल्यकॉन्फ़िगरेशन और क्षेत्र की पुष्टि आवश्यक
मॉडल का अन्वेषण करें। हॉपर141 GB
NVIDIA H200
मेमोरी-गहन LLM इनफेरेंस और वैज्ञानिक कंप्यूटिंग
- मेमोरी
- HBM3e
- स्थिति
- अनुरोध पर
अनुरोध पर मूल्यकॉन्फ़िगरेशन और क्षेत्र की पुष्टि आवश्यक
मॉडल का अन्वेषण करें। आडा लवलेस24 GB
NVIDIA RTX 4090
प्रोटोटाइपिंग, छवि निर्माण और रेंडरिंग
- मेमोरी
- GDDR6X
- स्थिति
- अनुरोध पर
अनुरोध पर मूल्यकॉन्फ़िगरेशन और क्षेत्र की पुष्टि आवश्यक
मॉडल का अन्वेषण करें। यहाँ कौन सा H100 संस्करण वर्णित है?
संदर्भ विनिर्देश H100 SXM 80 GB है। PCIe और NVL संस्करण भिन्न हैं; सटीक GPU संस्करण को सर्वर विन्यास में पुष्टि करनी चाहिए।
क्या 80 GB सुनिश्चित करता है कि मेरा मॉडल फिट होगा?।
नहीं। वज़न, सटीकता, सक्रियण और कैश मेमोरी बजट साझा करते हैं। अपने फ्रेमवर्क की जांच करें और इच्छित कार्यभार का परीक्षण करें।
क्या मैं कई GPU का अनुरोध कर सकता हूँ?
हाँ, अपने अनुरोध में GPU गणना और इंटरकनेक्ट आवश्यकताओं को शामिल करें। क्षमता और टोपोलॉजी की पुष्टि आवश्यक है।
आपका कॉन्फ़िगरेशन
इन्फ्रास्ट्रक्चर कोटेशन का अनुरोध करें
संसाधन और संचालन समय चुनें। हम आपके कॉन्फ़िगरेशन के लिए मूल्य की पुष्टि करेंगे।
प्रत्येक संसाधन का अपना सूचीबद्ध कॉन्फ़िगरेशन है। कई GPU सर्वर NVLink क्लस्टर नहीं बनाते हैं। मासिक दर पूरे बिलिंग अवधि को कवर करती है; कॉन्फ़िगरेशन के बाहर संग्रहण और ट्रैफ़िक शामिल नहीं है।