Huấn luyện
Phân bổ bộ nhớ cho trọng số, trạng thái tối ưu hóa và hoạt động. Đào tạo đa GPU cũng cần kết nối phù hợp.
HOPPER · TRUNG TÂM DỮ LIỆU
NVIDIA H100 cho công việc AI đòi hỏi cao
80 GB bộ nhớ HBM3 cho các tác vụ yêu cầu bộ nhớ lớn. Lập kế hoạch đào tạo hoặc máy chủ suy luận phù hợp với mô hình, tập dữ liệu và cấu hình GPU.
Xem cấu hìnhMáy chủ của bạn
Xây dựng xung quanh tải công việc của bạn
Bộ nhớ GPU là một phần của máy chủ. Xác định CPU, RAM hệ thống, lưu trữ và khu vực để kiểm tra cấu hình đầy đủ.
- Kích thước mô hình và ngân sách bộ nhớ
- CPU, RAM và lưu trữ dữ liệu
- Yêu cầu vùng và triển khai
Khối lượng công việc
Khi bộ nhớ quan trọng nhất
Inference LLM
Lập kế hoạch VRAM cho mô hình và bộ đệm KV cùng nhau. Độ dài ngữ cảnh và các yêu cầu đồng thời ảnh hưởng đến nhu cầu bộ nhớ.
Tính toán khoa học
Phù hợp độ chính xác số và yêu cầu phần mềm CUDA với tính toán của bạn trước khi chọn host.
VỊ TRÍ
Chọn khu vực cho tải công việc của bạn
Giữ tính toán gần dữ liệu và người dùng của bạn. Công suất được kiểm tra cho mô hình và vị trí đã chọn.
Châu Âu
Có sẵn theo yêu cầu
Mỹ
Có sẵn theo yêu cầu
Công việc AI dựa trên ARM và các tác vụ CPU/GPU đồng bộ
Có sẵn theo yêu cầu
So sánh
Xem xét ngân sách bộ nhớ khác
Ampere80 GB
NVIDIA A100
Các tải công việc CUDA đã thiết lập và huấn luyện mô hình
- Bộ nhớ
- HBM2e
- Trạng thái
- Theo yêu cầu
Yêu cầu theo yêu cầuCấu hình và khu vực cần xác nhận
Khám phá mô hình Hopper141 GB
NVIDIA H200
Inference LLM và tính toán khoa học đòi hỏi bộ nhớ cao
- Bộ nhớ
- HBM3e
- Trạng thái
- Theo yêu cầu
Yêu cầu theo yêu cầuCấu hình và khu vực cần xác nhận
Khám phá mô hình Ada Lovelace24 GB
NVIDIA RTX 4090
Mô phỏng, tạo hình ảnh và kết xuất
- Bộ nhớ
- GDDR6X
- Trạng thái
- Theo yêu cầu
Yêu cầu theo yêu cầuCấu hình và khu vực cần xác nhận
Khám phá mô hình Biến thể H100 nào được mô tả?
Thông số kỹ thuật tham khảo là H100 SXM 80 GB. Các biến thể PCIe và NVL khác nhau; phải xác nhận chính xác biến thể GPU trong cấu hình máy chủ.
80 GB có đảm bảo mô hình của tôi phù hợp không?
Không. Trọng số, độ chính xác, hoạt động và cache chia sẻ ngân sách bộ nhớ. Kiểm tra framework của bạn và thử nghiệm công việc dự định.
Tôi có thể yêu cầu nhiều GPU không?
Có, bao gồm số lượng GPU và yêu cầu kết nối trong yêu cầu của bạn. Công suất và kiến trúc cần xác nhận trước khi triển khai.
CẤU HÌNH CỦA BẠN
Yêu cầu báo giá hạ tầng
Chọn tài nguyên và thời gian vận hành. Chúng tôi sẽ xác nhận giá cho cấu hình của bạn.
Mỗi tài nguyên có cấu hình riêng đã liệt kê. Nhiều máy chủ GPU không tạo thành cụm NVLink. Các mức giá hàng tháng bao gồm toàn bộ kỳ thanh toán; không bao gồm lưu trữ và lưu lượng ngoài cấu hình.