训练
為權重、優化器狀態與激活分配記憶體。多 GPU 訓練亦需適當的互連。
您的伺服器
圍繞您的工作負載建立
GPU 記憶體是伺服器的一部分。請指定 CPU、系統 RAM、存儲與區域以檢查完整配置。
- 模型大小與記憶體預算
- CPU、記憶體與資料集存儲
- 區域與部署需求
工作負載
當內存最為重要時
LLM推理
規劃模型與 KV 快取的 VRAM。上下文長度與並發請求會影響記憶體需求。
科學計算
在選擇主機前，將數值精度與CUDA軟體需求與您的計算匹配。
位置
選擇您的工作負載區域
將計算資源靠近您的資料與用戶。容量會根據所選模型與位置進行檢查。
歐洲
可用性按需提供
美國
可用性按需提供
亞洲
可用性按需提供
比較
考慮不同的記憶體預算
Ampere80 GB
NVIDIA A100
已建立 CUDA 工作負載與模型訓練
- 記憶體
- HBM2e
- 状态
- 按需提供
價格需另行詢價配置與區域待確認
探索模型 Hopper141 GB
NVIDIA H200
記憶體密集型LLM推理與科學計算
- 記憶體
- HBM3e
- 状态
- 按需提供
價格需另行詢價配置與區域待確認
探索模型 Ada Lovelace24 GB
NVIDIA RTX 4090
原型設計、影像生成與渲染
- 記憶體
- GDDR6X
- 状态
- 按需提供
價格需另行詢價配置與區域待確認
探索模型 描述的是哪個 H100 變體？
参考规格为 H100 SXM 80 GB。PCIe 和 NVL 变体不同，必须在服务器配置中确认具体 GPU 变体。
80 GB是否保證模型能適配？
無。權重、精度、激活與快取共用記憶體預算。請檢查您的框架並測試預期工作負載。
我可以請求多個GPU嗎？
是的，請在您的請求中包含 GPU 數量和互連需求。在部署前需要確認容量和拓撲。
您的配置
索取基礎架構報價
選擇資源及運作時間。我們會為您的配置確認價格。
每個資源有其列出配置。多GPU伺服器不形成NVLink集群。月費涵蓋整個計費期；配置外的存儲與流量不包括在內。