훈련
가중치, 옵티마이저 상태, 활성화에 대한 메모리 할당. 다중 GPU 훈련에는 적합한 인터커넥트도 필요합니다.
호퍼 · 데이터 센터
요구가 많은 AI 워크로드용 NVIDIA H100
작업에 따라 80 GB HBM3 메모리가 필요할 경우, 모델, 데이터셋, GPU 토폴로지를 고려하여 서버를 계획하세요.
구성 보기당신의 서버
워크로드를 중심으로 구축
GPU 메모리는 서버의 일부입니다. CPU, 시스템 RAM, 저장소 및 지역을 지정하여 전체 구성을 확인하세요.
- 모델 크기 및 메모리 예산
- CPU, RAM 및 데이터셋 저장소
- 지역 및 배포 요구사항
작업 부하
메모리가 가장 중요한 경우
LLM 추론
모델과 KV 캐시를 함께 위한 VRAM 계획. 컨텍스트 길이와 동시 요청이 메모리 수요에 영향.
과학 계산
호스트를 선택하기 전에 수치 정밀도와 CUDA 소프트웨어 요구사항을 계산에 맞게 조정하세요.
지역
워크로드를 위한 지역 선택
데이터와 사용자에게 가까운 곳에 컴퓨트를 유지하세요. 선택한 모델과 위치에 대해 용량을 확인합니다.
유럽
요청 시 가용성
미국
요청 시 가용성
아시아
요청 시 가용성
비교
다른 메모리 예산을 고려하세요.
Ampere80 GB
NVIDIA A100
CUDA 작업 부하 및 모델 훈련 확립
- 메모리
- HBM2e
- 상태
- 요청 시
요청 시 가격 문의구성 및 지역 확정 필요
모델 탐색 Hopper141 GB
NVIDIA H200
메모리 집약적 LLM 추론 및 과학 계산
- 메모리
- HBM3e
- 상태
- 요청 시
요청 시 가격 문의구성 및 지역 확정 필요
모델 탐색 Ada Lovelace24 GB
NVIDIA RTX 4090
프로토타이핑, 이미지 생성 및 렌더링
- 메모리
- GDDR6X
- 상태
- 요청 시
요청 시 가격 문의구성 및 지역 확정 필요
모델 탐색 설명된 H100 변종은 무엇인가요?
참조 사양은 H100 SXM 80 GB입니다. PCIe 및 NVL 버전은 다르며, 서버 구성에서 정확한 GPU 변형을 확인해야 합니다.
80 GB가 모델 적합을 보장합니까?
없음. 가중치, 정밀도, 활성화 및 캐시는 메모리 예산을 공유합니다. 프레임워크를 확인하고 의도한 워크로드를 테스트하세요.
여러 GPU를 요청할 수 있나요?
네, GPU 수와 인터커넥트 요구 사항을 요청에 포함하세요. 용량과 토폴로지는 배포 전에 확인이 필요합니다.
고객 구성
인프라 견적 요청
리소스와 운영 시간을 선택하세요. 구성에 대한 가격을 확인해 드립니다.
각 리소스는 별도 구성 목록이 있습니다. 여러 GPU 서버는 NVLink 클러스터를 형성하지 않습니다. 월별 요금은 전체 청구 기간을 포함하며, 구성 외 저장소 및 트래픽은 포함되지 않습니다.