Tanítás
Memória allokálása a súlyok, optimalizáló állapot és aktivációk számára. Több GPU-s képzéshez megfelelő összeköttetés szükséges.
HOPPER · ADATKÖZPONT
NVIDIA H100 igényes AI munkafolyamatokhoz
80 GB HBM3 memória a munkákhoz, ahol a memória költség határozza meg az architektúrát. Tervezze meg képzési vagy inferencia szerverét a modell, adatállomány és GPU topológia szerint.
Beállítások megtekintéseSaját szerver
Építse az erőforrást körülötte
GPU memória a szerver része. Adja meg a CPU-t, rendszer RAM-ot, tárolót és régiót a teljes konfiguráció ellenőrzéséhez.
- Modell mérete és memória költségvetés
- CPU, RAM és adatállomány tárolás
- Régió és telepítési követelmények
MUNKAFOLYAMATOK
Amikor a memória a legfontosabb
LLM inferencia
Tervezze meg a VRAM-ot a modellhez és a KV gyorsítótárhoz együtt. A kontextus hossza és a párhuzamos kérések befolyásolják a memóriaigényt.
Tudományos számítások
Egyeztesse a numerikus pontosságot és a CUDA szoftverkövetelményeket a számítás előtt a gazda kiválasztásakor.
HELYSZÍN
Válasszon régiót a feladathoz
Tartsa a számítást közel az adatokhoz és felhasználókhoz. A kapacitás a kiválasztott modell és hely szerint ellenőrzött.
Európa
Elérhetőség kérésre
USA
Elérhetőség kérésre
Ázsia
Elérhetőség kérésre
ÖSSZEHASONLÍTÁS
Vegye figyelembe más memória költségvetést.
Ampere80 GB
NVIDIA A100
Meglévő CUDA munkaterhelések és modell tréning
- Memória
- HBM2e
- Állapot
- Kérésre
Ár kérésreKonfiguráció és régió megerősítése szükséges
Fedezze fel a modellt Hopper141 GB
NVIDIA H200
Memória-intenzív LLM inferencia és tudományos számítások
- Memória
- HBM3e
- Állapot
- Kérésre
Ár kérésreKonfiguráció és régió megerősítése szükséges
Fedezze fel a modellt Ada Lovelace24 GB
NVIDIA RTX 4090
Prototípus készítés, képalkotás és renderelés
- Memória
- GDDR6X
- Állapot
- Kérésre
Ár kérésreKonfiguráció és régió megerősítése szükséges
Fedezze fel a modellt Melyik H100 változatot írják le?
A referencia specifikáció H100 SXM 80 GB. A PCIe és NVL változatok eltérnek; a pontos GPU változatot a szerver konfigurációban kell megerősíteni.
Garanátolja, hogy az 80 GB megfelel-e a modellnek?
Nem. A súlyok, pontosság, aktivációk és gyorsítótár megosztják a memória költségvetést. Ellenőrizze a keretrendszerét, és tesztelje a szándékozott munkát.
Kérhetek több GPU-t?
Igen, kérjük, tartalmazza a GPU számát és az összeköttetés követelményeit kérésében. A kapacitás és a topológia megerősítése szükséges a telepítés előtt.
Az Ön konfigurációja
Infrastruktúra-árajánlat kérése
Válasszon erőforrásokat és üzemidőt. Megerősítjük a konfiguráció árát.
Minden erőforrás saját konfigurációval rendelkezik. Több GPU szerver nem alkot NVLink klasztert. A havi díjak a teljes számlázási időszakot fedik; a tárolás és forgalom nem tartozik bele.