アーキテクチャの決定
GPUサーバーとマネージドエンドポイントは異なる製品です。リクエストには運用モデルと消費測定に使用するユニット名を記載してください。
GLOBALATLAS AI · AI推論
AI推論
推論は訓練済みモデルを実行します。入力サイズ、バッチ処理、コンテキスト長が作業メモリとモデルの重みに影響します。
レイテンシまたはバッチスループット？
- 01
インタラクティブリクエスト：最初の応答遅延を計測
- 02
バッチジョブ：一定時間内に完了した入力数を測定
- 03
選択した入力長のピークメモリを追跡
構成要件
GPU VMとマネージドエンドポイントのどちらを操作するかを決定してください。パブリックFinderは現在GPU VMのオファーを確認しており、マネージド推論SLAは対象外です。