GLOBALATLAS AI · AI 基礎設施
AI 基礎設施
训练会改变模型；推理执行模型。模型服务、数据集和应用 API 需要不同的资源。
選擇 AI 生命週期階段
训练与适应
提供模型
LLM託管
模型服務需在記憶體中存放權重、運行緩衝、KV 快取及應用端點。
探索 →AI 推理
推理執行已訓練模型。輸入大小、批次與上下文長度決定工作記憶體與模型權重。
探索 →DeepSeek 的基礎設施
DeepSeek-R1 及其精簡模型屬於不同工作負載。精簡版本涵蓋 1.5B 至 70B 參數；完整模型需另行進行規模評估。
探索 →Llama 的基礎設施
Llama 是一系列模型。Llama 3.1 8B 是一個 8 億參數模型的範例，並不代表每個 Llama 發行版本的容量承諾。
探索 →Mistral 的基礎設施
Mistral 7B及其他Mistral版本在大小與架構上有所不同。請在規模硬體前選擇特定模型卡。
探索 →Qwen 的基礎設施
Qwen 包含文字、程式碼與多模態模型家族。從確切版本、支援的服務運行時、精度與上下文預算開始；這些選擇決定基礎設施需求。
探索 →Gemma 的基礎設施
Gemma 有多種尺寸與專用任務變體。選擇確切型號卡，接受其適用的使用條款，並在規劃自託管服務前驗證運行時支援。
探索 →Stable Diffusion 的基礎設施
Stable Diffusion 用于图像生成工作负载。SDXL Base、可选的细化器和其他工作流程组件具有不同的内存和存储需求。分辨率和批次大小影响整个流程。
探索 →FLUX 的基礎設施
FLUX版本在架構、推理程式碼與模型授權方面有所不同。選擇正確版本與支援的工作流程，並在預期圖像解析度與精度下測量峰值記憶體。
探索 →Whisper 的基礎設施
Whisper 是一個開源語音識別模型家族。自託管轉錄使用下載的模型權重和本地推理運行時；它與託管語音 API 訂閱分開。
探索 →