Eğitim
Ağırlıklar, optimizasyon durumu ve etkinlikler için bellek ayırın. Çok GPU'lu eğitim uygun bir bağlantı gerektirir.
HOPPER · VERİ MERKEZİ
Yoğun AI iş yükleri için NVIDIA H100
İş yükleri için 80 GB HBM3 belleği, bellek bütçesi mimariyi şekillendirir. Eğitim veya çıkarma sunucunuzu model, veri seti ve GPU topolojisi etrafında planlayın.
Yapılandırmaları görüntüleSunucunuz
İş yükünüz etrafında yapılandırın
GPU belleği, sunucunun bir parçasıdır. Tam yapılandırmayı görmek için CPU, sistem RAM, depolama ve bölgeyi belirtin.
- Model boyutu ve bellek bütçesi
- CPU, RAM ve veri seti depolama
- Bölge ve dağıtım gereksinimleri
İŞ YÜKLERİ
Belleğin en çok önemli olduğu zamanlar
LLM çıkarımı
Model ve KV önbelleği için VRAM planlayın. Bağlam uzunluğu ve eşzamanlı istekler bellek talebini etkiler.
Bilimsel hesaplama
Hesaplama öncesinde sayısal hassasiyet ve CUDA yazılım gereksinimlerini karşılaştırın.
BÖLGE
İş yükünüz için bölge seçin
Hesaplamayı verilerinize ve kullanıcılara yakın tutun. Kapasite, seçilen model ve konum için kontrol edilir.
Avrupa
İstek üzerine kullanılabilirlik
ABD
İstek üzerine kullanılabilirlik
Asya
İstek üzerine kullanılabilirlik
KARŞILAŞTIR
Farklı bir bellek bütçesi düşünün
Ampere80 GB
NVIDIA A100
Kurulu CUDA iş yükleri ve model eğitimi
- Bellek
- HBM2e
- Durum
- İsteğe bağlı
Talep üzerine fiyatlandırmaYapılandırma ve bölge onaylanacak
Modeli keşfet Hopper141 GB
NVIDIA H200
Bellek yoğun LLM çıkarımı ve bilimsel hesaplama
- Bellek
- HBM3e
- Durum
- İsteğe bağlı
Talep üzerine fiyatlandırmaYapılandırma ve bölge onaylanacak
Modeli keşfet Ada Lovelace24 GB
NVIDIA RTX 4090
Prototipleme, görüntü üretimi ve render
- Bellek
- GDDR6X
- Durum
- İsteğe bağlı
Talep üzerine fiyatlandırmaYapılandırma ve bölge onaylanacak
Modeli keşfet H100 varyantı nedir?
Referans özellik H100 SXM 80 GB'dir. PCIe ve NVL varyantları farklıdır; kesin GPU varyantı, sunucu yapılandırmasında doğrulanmalıdır.
80 GB modelimin sığmasını garanti eder mi?
Hayır. Ağırlıklar, hassasiyet, aktivasyonlar ve önbellek, bellek bütçesini paylaşır. Çerçevenizi kontrol edin ve planlanan iş yükünü test edin.
Birden fazla GPU talep edebilir miyim?
Evet, GPU sayısı ve bağlantı gereksinimlerini isteğinize ekleyin. Kapasite ve topoloji onay gerektirir.
YAPILANDIRMANIZ
Bir altyapı teklifi isteyin
Kaynakları ve çalışma süresini seçin. Yapılandırmanız için bir fiyatı onaylayacağız.
Her kaynak kendi yapılandırmasını listeler. Birden fazla GPU sunucusu NVLink kümesi oluşturmaz. Aylık oranlar tüm faturalama dönemini kapsar; yapılandırma dışındaki depolama ve trafik dahil değildir.