配置
一个独立的 DeepSeek 推理模型,由在 Qwen2.5-14B 基座上使用 DeepSeek-R1 输出蒸馏而成。它不是完整的 671B DeepSeek-R1 模型,也不是两个模型的捆绑包。
- 模型
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- 参数 / 权重
- 14.77B · — GB
- 权重格式
- BF16
- 上下文 / 并发
- 8192 / 1
- 检查点上下文上限
- 131072
- 预计 GPU 内存
- Requires an updated assessment
- 规划中的 RAM / 磁盘
- ≥ 64 GB / ≥ 150 GB
- 服务运行时
- vLLM · HTTP API
- 许可证
- MIT;基础模型 Apache-2.0
估算包含 BF16 权重、KV 缓存、2 GB 工作区和 15% GPU 余量。RAM 和磁盘是 GlobalAtlas 规划需求,不是开发者的官方最低值。安装前会确认磁盘类型、驱动和运行时。8192 token 服务预算包含输入和输出;更长的上下文或更多同时请求需要扩容并进行负载测试。
原始模型卡