Pelatihan
Alokasikan memori untuk bobot, status optimizer, dan aktivasi. Pelatihan multi-GPU juga memerlukan interkoneksi yang sesuai.
HOPPER · PUSAT DATA
NVIDIA H100 untuk beban kerja AI yang menuntut
80 GB memori HBM3 untuk beban kerja di mana anggaran memori membentuk arsitektur. Rencanakan pelatihan atau server inferensi Anda berdasarkan model, dataset, dan topologi GPU.
Lihat konfigurasiSERVER ANDA
Bangun di sekitar beban kerja Anda
Memori GPU adalah bagian dari server. Tentukan CPU, RAM sistem, penyimpanan, dan wilayah untuk memeriksa konfigurasi lengkap.
- Ukuran model dan anggaran memori
- CPU, RAM, dan penyimpanan dataset
- Persyaratan wilayah dan penyebaran
BEBAN KERJA
Kapan memori paling penting
Inferensi LLM
Rencanakan VRAM untuk model dan cache KV bersama. Panjang konteks dan permintaan bersamaan mempengaruhi kebutuhan memori.
Komputasi ilmiah
Sesuaikan presisi numerik dan persyaratan perangkat lunak CUDA dengan perhitungan Anda sebelum memilih host.
LOKASI
Pilih wilayah untuk beban kerja Anda
Pertahankan komputasi dekat data dan pengguna Anda. Kapasitas diperiksa untuk model dan lokasi yang dipilih.
Eropa
Ketersediaan berdasarkan permintaan
AS, Amerika Serikat
Ketersediaan berdasarkan permintaan
Asia
Ketersediaan berdasarkan permintaan
BANDINGKAN
Pertimbangkan anggaran memori yang berbeda
Ampere80 GB
NVIDIA A100
Beban kerja CUDA yang sudah mapan dan pelatihan model
- Memori
- HBM2e
- Status
- Atas permintaan
Harga atas permintaanKonfigurasi dan wilayah yang harus dikonfirmasi
Jelajahi model Hopper141 GB
NVIDIA H200
Inferensi LLM intensif memori dan komputasi ilmiah
- Memori
- HBM3e
- Status
- Atas permintaan
Harga atas permintaanKonfigurasi dan wilayah yang harus dikonfirmasi
Jelajahi model Ada Lovelace24 GB
NVIDIA RTX 4090
Prototyping, pembuatan gambar, dan rendering
- Memori
- GDDR6X
- Status
- Atas permintaan
Harga atas permintaanKonfigurasi dan wilayah yang harus dikonfirmasi
Jelajahi model Varian H100 mana yang dideskripsikan?
Spesifikasi referensi adalah H100 SXM 80 GB. Varian PCIe dan NVL berbeda; varian GPU yang tepat harus dikonfirmasi dalam konfigurasi server.
Apakah 80 GB menjamin model saya akan muat?
Tidak. Bobot, presisi, aktivasi, dan cache berbagi anggaran memori. Periksa kerangka kerja Anda dan uji beban kerja yang dimaksud.
Bisakah saya meminta beberapa GPU?
Ya, sertakan jumlah GPU dan kebutuhan interkoneksi dalam permintaan Anda. Kapasitas dan topologi perlu dikonfirmasi sebelum penyebaran.
KONFIGURASI ANDA
Minta penawaran infrastruktur
Pilih sumber daya dan waktu operasi. Kami akan mengonfirmasi harga untuk konfigurasi Anda.
Setiap sumber daya memiliki konfigurasi yang tercantum sendiri. Banyak server GPU tidak membentuk klaster NVLink. Tarif bulanan mencakup seluruh periode penagihan; penyimpanan dan lalu lintas di luar konfigurasi tidak termasuk.