训练
为权重、优化器状态和激活分配内存。多GPU训练还需合适的互连。
您的服务器
围绕您的工作负载构建
GPU 内存是服务器的一部分。请指定 CPU、系统内存、存储和区域以查看完整配置。
- 模型大小与内存预算
- CPU、内存和数据集存储
- 区域和部署需求
工作负载
当内存最为关键时
LLM推理
规划模型和KV缓存的显存。上下文长度和并发请求影响内存需求。
科学计算
在选择主机前，将数值精度和CUDA软件需求与您的计算匹配。
位置
为您的工作负载选择区域
将计算资源靠近您的数据和用户。容量会根据所选模型和位置进行检查。
欧洲
请求时可用
美国
请求时可用
亚洲
请求时可用
比较
考虑不同的内存预算。
Ampere80 GB
NVIDIA A100
已建立CUDA工作负载和模型训练
- 内存
- HBM2e
- 状态
- 按需提供
价格面议待确认的配置与区域
探索模型 Hopper141 GB
NVIDIA H200
偏重内存的LLM推理与科学计算
- 内存
- HBM3e
- 状态
- 按需提供
价格面议待确认的配置与区域
探索模型 Ada Lovelace24 GB
NVIDIA RTX 4090
原型设计、图像生成与渲染
- 内存
- GDDR6X
- 状态
- 按需提供
价格面议待确认的配置与区域
探索模型 描述的 H100 变体是哪一款？
参考规格为H100 SXM 80 GB。PCIe和NVL变体不同，必须在服务器配置中确认GPU变体。
80 GB是否保证模型能适配？
无。权重、精度、激活和缓存共享内存预算。请检查您的框架并测试预期工作负载。
我可以请求多个GPU吗？
是的，在请求中包括 GPU 数量和互连需求。容量和拓扑需确认后方可部署。
您的配置
请求基础设施报价
选择资源和运行时长。我们将为您的配置确认价格。
每个资源有其单独列出的配置。多个GPU服务器不形成NVLink集群。月费覆盖整个账单周期；配置外的存储和流量不包括在内。