架构决策
指定模型版本、精度、上下文和并发。用真实提示测试响应延迟后再确定生产容量。
GLOBALATLAS AI · LLM 托管
LLM托管
模型服务需要内存中的权重、运行时缓冲区、KV缓存和应用端点。
从用户请求到模型输出
- 01
应用API：访问和请求限制
- 02
模型服务器：权重、上下文和KV缓存
- 03
持久存储：模型版本和日志
配置要求
如果模型服务器的扩展和安全需求不同，应将其与公共API分离。
GLOBALATLAS AI · LLM 托管
模型服务需要内存中的权重、运行时缓冲区、KV缓存和应用端点。
应用API：访问和请求限制
模型服务器：权重、上下文和KV缓存
持久存储：模型版本和日志
指定模型版本、精度、上下文和并发。用真实提示测试响应延迟后再确定生产容量。
如果模型服务器的扩展和安全需求不同，应将其与公共API分离。