配置
獨立的 DeepSeek 推理模型,基於 DeepSeek-R1 輸出蒸餾,採用 Qwen2.5-14B 基礎版本。它並非完整的 671B DeepSeek-R1 模型,亦不是兩個模型的組合。
- 模型
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- 參數/權重
- 14.77B · — GB
- 權重格式
- BF16
- 上下文/併發
- 8192 / 1
- Checkpoint context 上限
- 131072
- 估算的 GPU 記憶體
- Requires an updated assessment
- 規劃中的 RAM/磁碟
- ≥ 64 GB / ≥ 150 GB
- 提供執行階段
- vLLM · HTTP API
- 授權
- MIT;基礎模型 Apache-2.0
估算包括 BF16 權重、KV cache、2 GB 工作區及 15% GPU 緩衝。RAM 及磁碟屬於 GlobalAtlas 規劃需求,並非開發者的官方最低值。磁碟類型、驅動程式及執行階段會在安裝前確認。8192 token 的提供預算包括輸入及輸出;更長的上下文或更多同時請求需要重新調整規格及進行負載測試。
原始模型卡