Mafunzo
Gawa kumbukumbu kwa uzito wa uzito, hali ya wakati wa kufanya kazi na cache ya KV. Mafunzo ya GPU nyingi pia yanahitaji muunganisho unaofaa.
HOPPER · KITUO CHA DATA
NVIDIA H100 kwa kazi ngumu za AI
80 GB ya kumbukumbu ya HBM3 kwa kazi zinazohitaji bajeti ya kumbukumbu. Panga mafunzo yako au seva ya utambuzi kulingana na mfano, seti ya data na topology ya GPU.
Angalia usanidiSEVA YAKO
Jenga kwa mzigo wako wa kazi
Kumbukumbu ya GPU ni sehemu ya seva. Taja CPU, RAM ya mfumo, hifadhi na eneo ili kuangalia usanidi kamili.
- Ukubwa wa mfano na bajeti ya kumbukumbu
- CPU, RAM na uhifadhi wa dataset
- Mahitaji ya eneo na usambazaji
KAZI ZINAZOFANYWA
Wakati kumbukumbu inahitajika zaidi
Utaratibu wa kuingiza LLM
Panga VRAM kwa mfano na cache ya KV pamoja. Urefu wa muktadha na maombi yanayofanyika kwa wakati mmoja yanathiri mahitaji ya kumbukumbu.
Hisabati ya kisayansi
Linganisha usahihi wa nambari na mahitaji ya programu ya CUDA na hesabu yako kabla ya kuchagua mwenyeji.
MAHALI
Chagua eneo kwa mzigo wako wa kazi
Dumisha uendeshaji wa uhesabu karibu na data na watumiaji wako. Uwezo unakaguliwa kwa mfano uliochaguliwa na eneo.
Ulaya
Upatikanaji kwa ombi
USA
Upatikanaji kwa ombi
Asia
Upatikanaji kwa ombi
LINGANISHA
Fikiria bajeti tofauti ya kumbukumbu
Ampere80 GB
NVIDIA A100
Kazi zilizowekwa za CUDA na mafunzo ya modeli
- Kumbukumbu
- HBM2e
- Hali
- Kwa ombi
Bei kwa ombiMipangilio na eneo yanahitaji kuthibitishwa
Chunguza modeli Hopper141 GB
NVIDIA H200
Utaratibu wa kuingiza LLM unaozingatia kumbukumbu na utafiti wa kisayansi
- Kumbukumbu
- HBM3e
- Hali
- Kwa ombi
Bei kwa ombiMipangilio na eneo yanahitaji kuthibitishwa
Chunguza modeli Ada Lovelace24 GB
NVIDIA RTX 4090
Uundaji wa majaribio, uzalishaji wa picha na uchoraji
- Kumbukumbu
- GDDR6X
- Hali
- Kwa ombi
Bei kwa ombiMipangilio na eneo yanahitaji kuthibitishwa
Chunguza modeli Toleo gani la H100 linaelezwa?
Maelezo ya rejeo ni H100 SXM 80 GB. Tofauti za PCIe na NVL zinatofautiana; toleo sahihi la GPU lazima kuthibitishwa katika usanidi wa seva.
Je, 80 GB inahakikisha modeli yangu itakaa ndani?
Hapana. Uzito, usahihi, activations na cache hushiriki bajeti ya kumbukumbu. Angalia mfumo wako na uteste mzigo wa kazi unaokusudia.
Naweza kuomba GPU kadhaa?
Ndio, jumuisha idadi ya GPU na mahitaji ya muunganisho katika ombi lako. Uwezo na muundo unahitaji kuthibitishwa kabla ya kusambaza.
USANIDI WAKO
Omba nukuu ya miundombinu
Chagua rasilimali na muda wa uendeshaji. Tutathibitisha bei ya usanidi wako.
Kila rasilimali ina usanidi wake uliotajwa. Seva za GPU nyingi hazitunzi kundi la NVLink. Viwango vya kila mwezi vinashughulikia kipindi chote cha bili; hifadhi na trafiki nje ya usanidi havijumuishwi.