架构决策
GPU服务器与托管端点是不同产品。请求中必须注明操作模型和计费单位。
GLOBALATLAS AI · AI 推理
AI推理
推理执行已训练模型。输入大小、批处理和上下文长度决定工作内存和模型权重。
延迟还是批处理吞吐量？
- 01
交互请求：测量首次响应延迟
- 02
批处理作业：衡量每个时间间隔完成的输入量
- 03
跟踪所选输入长度的峰值内存
配置要求
决定使用自己操作的GPU虚拟机还是托管端点。公共Finder目前仅检查GPU虚拟机报价，不包括托管推理SLA。
GLOBALATLAS AI · AI 推理
推理执行已训练模型。输入大小、批处理和上下文长度决定工作内存和模型权重。
交互请求：测量首次响应延迟
批处理作业：衡量每个时间间隔完成的输入量
跟踪所选输入长度的峰值内存
GPU服务器与托管端点是不同产品。请求中必须注明操作模型和计费单位。
决定使用自己操作的GPU虚拟机还是托管端点。公共Finder目前仅检查GPU虚拟机报价，不包括托管推理SLA。