GLOBALATLAS AI · AI 基础设施
AI基础设施
训练改变模型；推理执行模型。模型服务、数据集和应用API资源需求不同。
选择AI生命周期的阶段
训练与适应
部署模型
LLM托管
模型服务需要内存中的权重、运行时缓冲区、KV缓存和应用端点。
探索 →AI推理
推理执行已训练模型。输入大小、批处理和上下文长度决定工作内存和模型权重。
探索 →DeepSeek 的基础设施
DeepSeek-R1 及其蒸馏模型是不同的工作负载。蒸馏版本的参数范围为 1.5B 至 70B；完整模型需要单独的规模评估。
探索 →Llama 的基础设施
Llama 是一系列模型。Llama 3.1 8B 是一个8十亿参数模型的示例，并不代表每个 Llama 版本的容量承诺。
探索 →Mistral 的基础设施
Mistral 7B及其他Mistral版本在大小和架构上有所不同。请在选定硬件前查看具体模型卡。
探索 →Qwen 的基础设施
Qwen包括文本、代码和多模态模型系列。请从确切的模型版本、支持的服务运行时、精度和上下文预算开始；这些选择决定基础设施需求。
探索 →Gemma 的基础设施
Gemma 有多种尺寸和任务专用变体。选择确切型号卡，接受其适用的使用条款，并在计划自托管服务前验证运行时支持。
探索 →Stable Diffusion 的基础设施
Stable Diffusion用于图像生成工作负载。SDXL基础版、可选的细化器和其他工作流组件具有不同的内存和存储需求。分辨率和批次大小影响整个流程。
探索 →FLUX 的基础设施
FLUX版本在架构、推理代码和模型许可方面存在差异。选择确切版本和支持的工作流程，然后在预期的图像分辨率和精度下测量峰值内存。
探索 →Whisper 的基础设施
Whisper 是一款开源语音识别模型系列。自托管转录使用下载的模型权重和本地推理运行时，与托管语音 API 订阅分开。
探索 →