Koulutus
Varaa muisti painoille, optimointitilalle ja aktivoinneille. Monigpun koulutus vaatii myös sopivan väylän.
HOPPER · DATANKESKUS
NVIDIA H100 vaativiin AI-kuormiin
80 GB HBM3-muistia kuormituksiin, joissa muistikapasiteetti muokkaa arkkitehtuuria. Suunnittele koulutus- tai inferenssipalvelimesi mallin, datan ja GPU-arkkitehtuurin mukaan.
Näytä kokoonpanotPALVELIMESI
Rakenna ympärilleen työkuormasi
GPU-muisti on osa palvelinta. Määrittele CPU, järjestelmä-RAM, tallennus ja alue tarkistaaksesi koko kokoonpanon.
- Mallin koko ja muistikapasiteetti
- CPU, RAM ja tietojoukkovarasto
- Alueen ja käyttöönoton vaatimukset
TYÖKOKOONNESET
Milloin muisti on tärkeintä
LLM-inferenssi
Suunnittele VRAM mallille ja KV-välimuistille yhdessä. Ympäristön pituus ja samanaikaiset pyynnöt vaikuttavat muistikulutukseen.
Tieteellinen laskenta
Yhdistä numeerinen tarkkuus ja CUDA-ohjelmistovaatimukset laskelmaasi ennen isäntäkoneen valitsemista.
Sijainti
Valitse alue työkuormalle
Pidä laskenta lähellä dataa ja käyttäjiä. Kapasiteetti tarkistetaan valitulle mallille ja sijainnille.
Eurooppa
Saatavuus pyynnöstä
YHDYSVALLAT
Saatavuus pyynnöstä
Aasia
Saatavuus pyynnöstä
VERTAILE
Harkitse eri muistikulutusta
Ampere80 GB
NVIDIA A100
Vakiintuneet CUDA-työkuormat ja mallin koulutus
- Muisti
- HBM2e
- Tila
- Pyydettäessä
Hinta pyynnöstäKokoonpano ja alue vahvistettavaksi
Tutki mallia Hopper141 GB
NVIDIA H200
Muistia vaativa LLM-inferenssi ja tieteellinen laskenta
- Muisti
- HBM3e
- Tila
- Pyydettäessä
Hinta pyynnöstäKokoonpano ja alue vahvistettavaksi
Tutki mallia Ada Lovelace24 GB
NVIDIA RTX 4090
Prototyyppien tekeminen, kuvan generointi ja renderointi
- Muisti
- GDDR6X
- Tila
- Pyydettäessä
Hinta pyynnöstäKokoonpano ja alue vahvistettavaksi
Tutki mallia Mikä H100-malli on kuvattu?
Viitemääritys on H100 SXM 80 GB. PCIe- ja NVL-mallit eroavat; tarkka GPU-malli on vahvistettava palvelinmäärityksessä.
Takaa, että 80 GB riittää mallisi mahtumiseen?
Ei. Painot, tarkkuus, aktivoinnit ja välimuisti jakavat muistikapasiteetin. Tarkista kehys ja testaa suunniteltu työkuorma.
Voinko pyytää useita GPU:ita?
Kyllä, sisällytä GPU-määrä ja väylävaatimukset pyyntöön. Kapasiteetti ja topologia vaativat vahvistuksen ennen käyttöönottoa.
KONFIGURAATIOSI
Pyydä infrastruktuuritarjous
Valitse resurssit ja käyttöaika. Vahvistamme kokoonpanosi hinnan.
Jokaisella resurssilla on oma lueteltu kokoonpanonsa. Useat GPU-palvelimet eivät muodosta NVLink-klusteria. Kuukausihinnat kattavat koko laskutuskauden; tallennus ja liikenne kokoonpanon ulkopuolella eivät sisälly.