Konfiguracija
Ločen model za sklepanje DeepSeek, izpeljan z destilacijo iz izhodov DeepSeek-R1 na osnovi Qwen2.5-14B. To ni celotni model 671B DeepSeek-R1 niti paket dveh modelov.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametri / uteži
- 14.77B · — GB
- Format uteži
- BF16
- Kontekst / sočasnost
- 8192 / 1
- Omejitev konteksta Checkpoint
- 131072
- Ocena pomnilnika GPU
- Requires an updated assessment
- Načrtovani RAM / disk
- ≥ 64 GB / ≥ 150 GB
- Izvajalno okolje za streženje
- vLLM · HTTP API
- Licenca
- MIT; osnovni model Apache-2.0
Ocena vključuje uteži BF16, predpomnilnik KV, delovni prostor 2 GB in rezervo 15% GPU. RAM in disk sta GlobalAtlas načrtovalni zahtevi, ne uradni minimum razvijalca. Vrsta diska, gonilniki in izvajalno okolje se potrdijo pred namestitvijo. Strežniški proračun 8192 žetonov vključuje vhod in izhod; daljši kontekst ali več sočasnih zahtev zahteva prilagoditev velikosti in test obremenitve.
Izvirna kartica modela