Entrenament
Assigna memòria per a pesos, estat de l'optimitzador i activacions. L'entrenament multiGPU també necessita una interconnexió adequada.
HOPPER · CENTRE DE DADES
NVIDIA H100 per a càrregues de treball d'IA exigents
80 GB de memòria HBM3 per a càrregues de treball on el pressupost de memòria modela l'arquitectura. Planifiqueu el vostre servidor d'entrenament o inferència segons el model, conjunt de dades i topologia GPU.
Veure configuracionsEL TEU SERVIDOR
Construeix al voltant de la teva càrrega de treball
La memòria de GPU és una part del servidor. Especifiqueu CPU, RAM del sistema, emmagatzematge i regió per consultar la configuració completa.
- Mida del model i pressupost de memòria
- CPU, RAM i emmagatzematge de conjunts de dades
- Requisits de regió i desplegament
Càrregues de treball
Quan la memòria és més important
Inferència LLM
Planifiqueu VRAM per al model i la memòria cau KV conjuntament. La longitud del context i les sol·licituds concurrentes influeixen en la demanda de memòria.
Computació científica
Combina la precisió numèrica i els requisits de programari CUDA amb la teva càlcul abans de triar l'host.
UBICACIÓ
Tria una regió per a la teva càrrega de treball
Mantingueu el càlcul proper a les vostres dades i usuaris. La capacitat es comprova per al model i la ubicació seleccionats.
Europa
Disponibilitat a petició
EUA
Disponibilitat a petició
Àsia
Disponibilitat a petició
COMPARA
Considereu un pressupost de memòria diferent.
Ampere80 GB
NVIDIA A100
Càrregues de treball CUDA establertes i entrenament de models
- Memòria
- HBM2e
- Estat
- A petició
Preu a peticióConfiguració i regió a confirmar
Explora model Hopper141 GB
NVIDIA H200
Inferència de LLM intensiva en memòria i càlcul científic
- Memòria
- HBM3e
- Estat
- A petició
Preu a peticióConfiguració i regió a confirmar
Explora model Ada Lovelace24 GB
NVIDIA RTX 4090
Prototipatge, generació d'imatges i renderització
- Memòria
- GDDR6X
- Estat
- A petició
Preu a peticióConfiguració i regió a confirmar
Explora model Quina variant de H100 es descriu?
La especificació de referència és H100 SXM 80 GB. Les variants PCIe i NVL difereixen; la variant GPU precisa s'ha de confirmar a la configuració del servidor.
El de 80 GB garanteix que el meu model s'ajusta?
No. Els pesos, la precisió, les activacions i la memòria cau comparteixen el pressupost de memòria. Comprova el teu marc de treball i prova la càrrega de treball prevista.
Puc sol·licitar diverses GPU?
Sí, incloeu el nombre de GPU i els requisits d'interconnexió a la vostra sol·licitud. La capacitat i la topologia necessiten confirmació abans del desplegament.
LA VOSTRA CONFIGURACIÓ
Sol·licita un pressupost d’infraestructura
Tria recursos i temps d’operació. Confirmarem un preu per a la teva configuració.
Cada recurs té la seva pròpia configuració listada. Els servidors de GPU múltiples no formen un clúster NVLink. Les tarifes mensuals cobreixen tot el període de facturació; l'emmagatzematge i el trànsit fora de la configuració no estan inclosos.