GLOBALATLAS AI · AI 基礎設施
AI基礎設施
訓練會改變模型；推論則執行模型。模型服務、資料集與應用 API 需不同資源。
選擇 AI 生命週期階段
訓練與調整
提供模型服務
大型語言模型託管
模型服務需在記憶體中存放權重、運行時緩衝、KV快取與應用端點。
探索 →AI推理
推理執行已訓練模型。輸入大小、批次與上下文長度決定工作記憶體與模型權重。
探索 →DeepSeek 的基礎設施
DeepSeek-R1 及其蒸餾模型屬不同工作負載。蒸餾版本範圍從 1.5B 到 70B 參數；完整模型需另行尺寸規劃。
探索 →Llama 的基礎設施
Llama 是一系列模型。Llama 3.1 8B 是一個 8 億參數模型的範例，並不代表每個 Llama 發行版本的容量承諾。
探索 →Mistral 的基礎設施
Mistral 7B 及其他 Mistral 版本在大小與架構上有所不同。請在規劃硬體前選擇特定模型卡。
探索 →Qwen 的基礎設施
Qwen 包含文字、程式碼與多模態模型家族。請從確切模型版本、支援的服務運行時、精度與上下文預算開始；這些選擇決定基礎建設需求。
探索 →Gemma 的基礎設施
Gemma 有多種尺寸與專用任務變體。選擇確切的卡片型號，接受其適用的使用條款，並在規劃自我託管服務前驗證運行時支援。
探索 →Stable Diffusion 的基礎設施
Stable Diffusion 用於影像生成工作負載。SDXL Base、可選的精煉器與其他工作流程組件具有不同的記憶體與存儲需求。解析度與批次大小影響整個流程。
探索 →FLUX 的基礎設施
FLUX 發行版本在架構、推理程式碼與模型授權方面有所不同。選擇正確版本與支援的工作流程，並在預期的圖像解析度與精度下測量峰值記憶體。
探索 →Whisper 的基礎設施
Whisper 是一個開源的語音辨識模型家族。自託管轉錄使用下載的模型權重和本地推論運行時，與託管語音 API 訂閱不同。
探索 →