Konfigūracija
Atskiras DeepSeek samprotavimo modelis, distiliuotas naudojant DeepSeek-R1 išvestis Qwen2.5-14B bazėje. Tai nėra pilnas 671B DeepSeek-R1 modelis ir ne dviejų modelių paketas.
- Modelis
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametrai / svoriai
- 14.77B · — GB
- Svorių formatas
- BF16
- Kontekstas / lygiagretumas
- 8192 / 1
- Konteksto ribos kontrolinis taškas
- 131072
- Įvertinta GPU atmintis
- Requires an updated assessment
- Planuojama RAM / diskas
- ≥ 64 GB / ≥ 150 GB
- Aptarnavimo vykdymo aplinka
- vLLM · HTTP API
- Licencija
- MIT; bazinis modelis Apache-2.0
Sąmata apima BF16 svorius, KV talpyklą, 2 GB darbo sritį ir 15% GPU rezervą. RAM ir diskas yra GlobalAtlas planavimo reikalavimai, o ne oficialios kūrėjo minimalios reikšmės. Prieš diegimą patvirtinamas disko tipas, tvarkyklės ir vykdymo aplinka. 8192 žetonų aptarnavimo biudžetas apima įvestį ir išvestį; ilgesniam kontekstui ar didesniam vienu metu vykstančių užklausų skaičiui reikia keisti dydį ir atlikti apkrovos testą.
Originali modelio kortelė