トレーニング
重み、オプティマイザの状態、アクティベーション用にメモリを割り当てます。マルチGPUトレーニングには適切なインターコネクトも必要です。
ホッパー · データセンター
高負荷AIワークロード向けNVIDIA H100
80 GBのHBM3メモリは、メモリ予算がアーキテクチャを形成するワークロード向けです。モデル、データセット、GPUトポロジーに合わせてトレーニングまたは推論サーバーを計画してください。
構成の表示あなたのサーバー
ワークロードを中心に構築
GPUメモリはサーバーの一部です。CPU、システムRAM、ストレージ、リージョンを指定して完全な構成を確認してください。
- モデルサイズとメモリ予算
- CPU、RAM、データセットストレージ
- リージョンと展開要件
ワークロード
メモリが最も重要なとき
LLM推論
モデルとKVキャッシュのためのVRAMを計画します。コンテキスト長と同時リクエストがメモリ需要に影響します。
科学計算
数値精度とCUDAソフトウェア要件を計算前にホストに合わせて調整してください。
場所
ワークロードのリージョンを選択
データとユーザーに近い場所で計算を維持。容量は選択したモデルと場所で確認します。
ヨーロッパ
リクエスト時の可用性
米国
リクエスト時の可用性
アジア
リクエスト時の可用性
比較
異なるメモリ予算を検討してください。
Ampere80 GB
NVIDIA A100
確立されたCUDAワークロードとモデル訓練
- メモリ
- HBM2e
- ステータス
- リクエスト時に提供
要望に応じて価格を問い合わせ構成とリージョンの確認が必要
モデルを探索 Hopper141 GB
NVIDIA H200
メモリ集約型のLLM推論と科学計算
- メモリ
- HBM3e
- ステータス
- リクエスト時に提供
要望に応じて価格を問い合わせ構成とリージョンの確認が必要
モデルを探索 Ada Lovelace24 GB
NVIDIA RTX 4090
プロトタイピング、画像生成、レンダリング
- メモリ
- GDDR6X
- ステータス
- リクエスト時に提供
要望に応じて価格を問い合わせ構成とリージョンの確認が必要
モデルを探索 記述されているH100のバリアントはどれですか？
リファレンス仕様はH100 SXM 80 GBです。PCIeとNVLのバリアントは異なるため、正確なGPUバリアントをサーバー構成で確認してください。
80 GBはモデルの適合を保証しますか？
いいえ。重み、精度、アクティベーション、キャッシュはメモリ予算を共有します。フレームワークを確認し、意図したワークロードをテストしてください。
複数のGPUをリクエストできますか？
はい、GPU数とインターコネクト要件をリクエストに含めてください。容量とトポロジーの確認が必要です。
ご利用構成
インフラ見積もりを依頼
リソースと稼働時間を選択してください。構成の価格を確定します。
各リソースには独自の構成がリストされています。複数のGPUサーバーはNVLinkクラスターを形成しません。月額料金は請求期間全体をカバーし、構成外のストレージやトラフィックは含まれません。