പരിശീലനം
ഭാരം, ഓപ്റ്റിമൈസർ സ്റ്റേറ്റ്, ആക്ടിവേഷനുകൾ എന്നിവയ്ക്ക് മെമ്മറി അനുവദിക്കുക. മൾട്ടി-GPU പരിശീലനത്തിന് അനുയോജ്യമായ ഇന്റർകണക്റ്റും ആവശ്യമാണ്.
ഹോപ്പർ · ഡാറ്റ സെന്റർ
ആവശ്യമായ AI ജോലികൾക്കായി NVIDIA H100
മെമ്മറി ബജറ്റ് ആർക്കിടെക്ചർ രൂപപ്പെടുത്തുന്ന വർക്ക്‌ലോഡുകൾക്കായി 80 GB HBM3 മെമ്മറി. മോഡൽ, ഡാറ്റാസെറ്റ്, GPU ടോപോളജി എന്നിവയുടെ അടിസ്ഥാനത്തിൽ നിങ്ങളുടെ ട്രെയിനിംഗ് അല്ലെങ്കിൽ ഇൻഫറൻസ് സർവർ പ്ലാൻ ചെയ്യുക.
കോൺഫിഗറേഷനുകൾ കാണുകനിങ്ങളുടെ സർവർ
നിങ്ങളുടെ വർക്ക്‌ലോഡിനെ ചുറ്റിപ്പറ്റി നിർമ്മിക്കുക
GPU മെമ്മറി സെർവറിന്റെ ഒരു ഭാഗമാണ്. പൂർണ്ണ കോൺഫിഗറേഷൻ പരിശോധിക്കാൻ CPU, സിസ്റ്റം RAM, സ്റ്റോറേജ്, പ്രദേശം വ്യക്തമാക്കുക.
- മോഡൽ വലുപ്പവും മെമ്മറി ബജറ്റും
- CPU, RAM, ഡാറ്റാസെറ്റ് സ്റ്റോറേജ്
- പ്രദേശം மற்றும் വിന്യാസ ആവശ്യകതകൾ
വർക്ക്‌ലോഡുകൾ
മെമ്മറി ഏറ്റവും പ്രധാനപ്പെട്ടപ്പോൾ
LLM ഇൻഫറൻസ്
മോഡലിനും KV കാഷിനും ചേർന്ന് VRAM പദ്ധതിയിടുക. കോൺടെക്സ്റ്റ് നീളം, സമകാലിക അഭ്യർത്ഥനകൾ മെമ്മറി ആവശ്യകതയെ ബാധിക്കുന്നു.
ശാസ്ത്രീയ കംപ്യൂട്ടിംഗ്
ഹോസ്റ്റ് തിരഞ്ഞെടുക്കുന്നതിന് മുമ്പ് നിങ്ങളുടെ കണക്കുകൂട്ടലിനുള്ള സംഖ്യാത്മക കൃത്യതയും CUDA സോഫ്റ്റ്‌വെയർ ആവശ്യകതകളും പൊരുത്തപ്പെടുത്തുക.
സ്ഥലം
നിങ്ങളുടെ വർക്ക്‌ലോഡിനായി ഒരു പ്രാദേശികം തിരഞ്ഞെടുക്കുക
കമ്പ്യൂട്ട് നിങ്ങളുടെ ഡാറ്റയുടെയും ഉപയോക്താക്കളുടെയും അടുത്ത് നിലനിർത്തുക. തിരഞ്ഞെടുക്കപ്പെട്ട മോഡലിനും സ്ഥലത്തിനും ശേഷിയുണ്ടോ എന്ന് പരിശോധിക്കുന്നു.
യൂറോപ്പ്
അഭ്യർത്ഥന പ്രകാരം ലഭ്യത
അമേരിക്ക
അഭ്യർത്ഥന പ്രകാരം ലഭ്യത
ആസിയ
അഭ്യർത്ഥന പ്രകാരം ലഭ്യത
താരതമ്യം ചെയ്യുക
മറ്റൊരു മെമ്മറി ബജറ്റ് പരിഗണിക്കുക
ആംപിയർ80 GB
NVIDIA A100
സ്ഥാപിത CUDA വർക്ക്‌ലോഡുകളും മോഡൽ പരിശീലനവും
- മെമ്മറി
- HBM2e
- സ്ഥിതി
- അഭ്യർത്ഥന പ്രകാരം
വില അഭ്യർത്ഥന പ്രകാരംകോൺഫിഗറേഷൻ, പ്രദേശം സ്ഥിരീകരിക്കേണ്ടത്
മോഡൽ അന്വേഷിക്കുക ഹോപ്പർ141 GB
NVIDIA H200
മെമ്മറി-ഗുരുതരമായ LLM ഇൻഫറൻസ്‌യും ശാസ്ത്രീയ കംപ്യൂട്ടിംഗും
- മെമ്മറി
- HBM3e
- സ്ഥിതി
- അഭ്യർത്ഥന പ്രകാരം
വില അഭ്യർത്ഥന പ്രകാരംകോൺഫിഗറേഷൻ, പ്രദേശം സ്ഥിരീകരിക്കേണ്ടത്
മോഡൽ അന്വേഷിക്കുക അഡ ലവ്ലേസ്24 GB
NVIDIA RTX 4090
പ്രോട്ടോടൈപ്പിംഗ്, ഇമേജ് ജനറേഷൻ, റെൻഡറിംഗ്
- മെമ്മറി
- GDDR6X
- സ്ഥിതി
- അഭ്യർത്ഥന പ്രകാരം
വില അഭ്യർത്ഥന പ്രകാരംകോൺഫിഗറേഷൻ, പ്രദേശം സ്ഥിരീകരിക്കേണ്ടത്
മോഡൽ അന്വേഷിക്കുക ഏത് H100 വേരിയന്റ് ഇവിടെ വിവരണം ചെയ്യപ്പെടുന്നു?
റഫറൻസ് സ്പെസിഫിക്കേഷൻ H100 SXM 80 GB ആണ്. PCIe, NVL വകഭേദങ്ങൾ വ്യത്യസ്തമാണ്; കൃത്യമായ GPU വകഭേദം സർവർ കോൺഫിഗറേഷനിൽ സ്ഥിരീകരിക്കണം.
80 GB എന്റെ മോഡൽ ഫിറ്റ് ആകുമെന്ന് ഉറപ്പുണ്ടോ?
ഇല്ല. ഭാരങ്ങൾ, കൃത്യത, ആക്ടിവേഷനുകൾ, കാഷെ എന്നിവ മെമ്മറി ബജറ്റ് പങ്കിടുന്നു. നിങ്ങളുടെ ഫ്രെയിംവർക്ക് പരിശോധിച്ച് ഉദ്ദേശിച്ച ജോലിഭാരം പരീക്ഷിക്കുക.
എനിക്ക് പല GPU-കളും അഭ്യർത്ഥിക്കാമോ?
അതെ, നിങ്ങളുടെ അഭ്യർത്ഥനയിൽ GPU എണ്ണം, ഇന്റർകണക്റ്റ് ആവശ്യകതകൾ ഉൾപ്പെടുത്തുക. വിന്യാസത്തിന് മുമ്പ് ശേഷിയും ടോപോളജിയും സ്ഥിരീകരിക്കണം.
നിങ്ങളുടെ കോൺഫിഗറേഷൻ
ഒരു ഇൻഫ്രാസ്ട്രക്ചർ വിലക്കുറിപ്പ് അഭ്യർത്ഥിക്കുക
റിസോഴ്സുകളും പ്രവർത്തനസമയവും തിരഞ്ഞെടുക്കുക. നിങ്ങളുടെ കോൺഫിഗറേഷനായി ഒരു വില ഞങ്ങൾ സ്ഥിരീകരിക്കും.
ഓരോ റിസോഴ്‌സിനും അതിന്റെ സ്വന്തം ലിസ്റ്റുചെയ്ത കോൺഫിഗറേഷൻ ഉണ്ട്. ബഹുഗ്രാഫിക് സർവറുകൾ NVLink ക്ലസ്റ്റർ രൂപീകരിക്കുന്നില്ല. മാസവാര നിരക്കുകൾ പൂർണ്ണ ബില്ലിംഗ് കാലയളവിനും ബാധകമാണ്; കോൺഫിഗറേഷനിന് പുറത്തുള്ള സ്റ്റോറേജ്, ട്രാഫിക് ഉൾപ്പെടുന്നില്ല.