Latihan
Peruntukkan memori untuk berat, keadaan pengoptimum dan aktivasi. Latihan multi-GPU juga memerlukan sambungan yang sesuai.
HOPPER · PUSAT DATA
NVIDIA H100 untuk beban kerja AI yang memerlukan
80 GB memori HBM3 untuk beban kerja di mana bajet memori membentuk seni bina. Rancang pelayan latihan atau inferens anda berdasarkan model, dataset dan topologi GPU.
Lihat konfigurasiPelayan ANDA
Bina di sekitar beban kerja anda
Memori GPU adalah sebahagian daripada pelayan. Tentukan CPU, RAM sistem, storan dan wilayah untuk memeriksa konfigurasi lengkap.
- Saiz model dan bajet memori
- CPU, RAM dan storan dataset
- Keperluan wilayah dan pengedaran
BEBAN KERJA
Apabila memori paling penting
Inferens LLM
Rancang VRAM untuk model dan cache KV bersama. Panjang konteks dan permintaan serentak mempengaruhi keperluan memori.
Pengiraan saintifik
Padankan keperluan ketepatan numerik dan perisian CUDA dengan pengiraan anda sebelum memilih hos.
LOKASI
Pilih wilayah untuk beban kerja anda
Simpan pengiraan dekat dengan data dan pengguna anda. Kapasiti diperiksa untuk model dan lokasi yang dipilih.
Eropah
Ketersediaan atas permintaan
Amerika Syarikat
Ketersediaan atas permintaan
Asia
Ketersediaan atas permintaan
BANDINGKAN
Pertimbangkan bajet memori yang berbeza
Ampere80 GB
NVIDIA A100
Beban kerja CUDA yang telah ditetapkan dan latihan model
- Memori
- HBM2e
- Status
- Atas permintaan
Harga atas permintaanKonfigurasi dan wilayah yang perlu disahkan
Terokai model Hopper141 GB
NVIDIA H200
Inferens LLM berintensif memori dan pengiraan saintifik
- Memori
- HBM3e
- Status
- Atas permintaan
Harga atas permintaanKonfigurasi dan wilayah yang perlu disahkan
Terokai model Ada Lovelace24 GB
NVIDIA RTX 4090
Prototip, penjanaan imej dan rendering
- Memori
- GDDR6X
- Status
- Atas permintaan
Harga atas permintaanKonfigurasi dan wilayah yang perlu disahkan
Terokai model Varian H100 mana yang diterangkan?
Spesifikasi rujukan adalah H100 SXM 80 GB. Varian PCIe dan NVL berbeza; varian GPU yang tepat mesti disahkan dalam konfigurasi pelayan.
Adakah 80 GB menjamin model saya akan muat?
Tidak. Berat, ketepatan, aktivasi dan cache berkongsi bajet memori. Semak rangka kerja anda dan uji beban kerja yang dimaksudkan.
Bolehkah saya memohon beberapa GPU?
Ya, sertakan jumlah GPU dan keperluan sambungan dalam permintaan anda. Kapasiti dan topologi perlu disahkan sebelum penyebaran.
KONFIGURASI ANDA
Minta sebut harga infrastruktur
Pilih sumber dan tempoh operasi. Kami akan mengesahkan harga untuk konfigurasi anda.
Setiap sumber mempunyai konfigurasi yang disenaraikan sendiri. Pelayan GPU berganda tidak membentuk kluster NVLink. Kadar bulanan meliputi tempoh bil penuh; penyimpanan dan trafik di luar konfigurasi tidak termasuk.