架構決策
GPU伺服器與管理端點為不同產品。請在申請中明確操作模型與用量單位。
GLOBALATLAS AI · AI 推理
AI推理
推理執行已訓練模型。輸入大小、批次與上下文長度決定工作記憶體與模型權重。
延遲或批次吞吐量？
- 01
互動請求：測量首次回應延遲
- 02
批次作業：測量每個時間區間完成的輸入數量
- 03
追蹤所選輸入長度的峰值記憶體
配置需求
決定使用自行操作的 GPU VM 或管理端點。公開的 Finder 目前僅檢查 GPU VM 提供方案，非管理推理 SLA。
GLOBALATLAS AI · AI 推理
推理執行已訓練模型。輸入大小、批次與上下文長度決定工作記憶體與模型權重。
互動請求：測量首次回應延遲
批次作業：測量每個時間區間完成的輸入數量
追蹤所選輸入長度的峰值記憶體
GPU伺服器與管理端點為不同產品。請在申請中明確操作模型與用量單位。
決定使用自行操作的 GPU VM 或管理端點。公開的 Finder 目前僅檢查 GPU VM 提供方案，非管理推理 SLA。