Konfiguracja
Oddzielny model rozumowania DeepSeek, wytrenowany na bazie Qwen2.5-14B z wykorzystaniem wyników DeepSeek-R1. To nie jest pełny model 671B DeepSeek-R1 ani pakiet dwóch modeli.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Parametry / wagi
- 14.77B · — GB
- Format wag
- BF16
- Kontekst / współbieżność
- 8192 / 1
- Limit kontekstu punktu kontrolnego
- 131072
- Szacowana pamięć GPU
- Requires an updated assessment
- Planowane RAM / dysk
- ≥ 64 GB / ≥ 150 GB
- Środowisko wykonawcze obsługi
- vLLM · HTTP API
- Licencja
- MIT; model bazowy Apache-2.0
Szacunek obejmuje wagi BF16, cache KV, obszar roboczy 2 GB oraz zapas 15% GPU. RAM i dysk są wymaganiami planowanymi GlobalAtlas, a nie oficjalnym minimum dewelopera. Typ dysku, sterowniki i środowisko wykonawcze są potwierdzane przed instalacją. Budżet obsługi dla 8192 tokenów obejmuje wejście i wyjście; dłuższy kontekst lub większa liczba jednoczesnych żądań wymaga zmiany rozmiaru i testu obciążeniowego.
Oryginalna karta modelu