架構決策
GPU 伺服器與管理端點為不同產品。請在申請中指明運作模型與資源使用單位。
GLOBALATLAS AI · AI 推理
AI 推理
推理執行已訓練模型。輸入大小、批次與上下文長度決定工作記憶體與模型權重。
延遲或批次吞吐量？
- 01
互動請求：測量首次回應延遲
- 02
批次作業：測量每個時間間隔完成的輸入數量
- 03
跟踪所选输入长度的峰值内存
配置需求
決定操作GPU VM或管理端點。公開Finder目前只檢查GPU VM報價，非管理推理SLA。
GLOBALATLAS AI · AI 推理
推理執行已訓練模型。輸入大小、批次與上下文長度決定工作記憶體與模型權重。
互動請求：測量首次回應延遲
批次作業：測量每個時間間隔完成的輸入數量
跟踪所选输入长度的峰值内存
GPU 伺服器與管理端點為不同產品。請在申請中指明運作模型與資源使用單位。
決定操作GPU VM或管理端點。公開Finder目前只檢查GPU VM報價，非管理推理SLA。