訓練
分配記憶體給權重、優化器狀態與激活。多GPU訓練亦需適當的互連。
您的伺服器
圍繞您的工作負載建構
GPU 記憶體是伺服器的一部分。請指定 CPU、系統 RAM、存儲與區域以檢查完整配置。
- 模型大小與記憶體預算
- CPU、記憶體與資料集存儲
- 區域與部署需求
工作負載
當記憶體最為重要時。
大型語言模型推論
規劃模型與 KV 快取的 VRAM。上下文長度與並發請求會影響記憶體需求。
科學計算
在選擇主機前，將數值精度與 CUDA 軟體需求與您的計算匹配。
位置
為您的工作負載選擇區域
將計算資源靠近您的資料與用戶。容量會根據所選模型與位置進行檢查。
歐洲
可用性按需提供
美國
可用性按需提供
亞洲
可用性按需提供
比較
考慮不同的記憶體預算
Ampere80 GB
NVIDIA A100
已建立 CUDA 工作負載與模型訓練
- 記憶體
- HBM2e
- 狀態
- 按需提供
價格洽詢待確認的配置與區域
探索模型 Hopper141 GB
NVIDIA H200
記憶體密集型的 LLM 推論與科學計算
- 記憶體
- HBM3e
- 狀態
- 按需提供
價格洽詢待確認的配置與區域
探索模型 Ada Lovelace24 GB
NVIDIA RTX 4090
原型設計、影像產生與渲染
- 記憶體
- GDDR6X
- 狀態
- 按需提供
價格洽詢待確認的配置與區域
探索模型 此處描述的是哪個 H100 變體？
參考規格為 H100 SXM 80 GB。PCIe 與 NVL 版本不同，必須在伺服器配置中確認 GPU 版本。
80 GB 是否保證模型能容納？
無。權重、精度、激活與快取共用記憶體預算。請檢查您的框架並測試預期工作負載。
我可以申請多個 GPU 嗎？
是的，請在您的請求中包含 GPU 數量與互連需求。在部署前，需確認容量與拓撲。
您的組態
申請基礎架構報價
選擇資源與運行時間。我們會為您的配置確認價格。
每個資源有其列出的配置。多個 GPU 伺服器不形成 NVLink 叢集。月費涵蓋整個計費期；配置外的儲存與流量不包含在內。