Konfiguráció
Egy külön DeepSeek következtetési modell, amelyet a DeepSeek-R1 kimenetek alapján, egy Qwen2.5-14B alapra finomítottak. Nem a teljes 671B DeepSeek-R1 modell, és nem két modellből álló csomag.
- Modell
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Paraméterek / súlyok
- 14.77B · — GB
- Súlyformátum
- BF16
- Kontextus / párhuzamosság
- 8192 / 1
- Checkpont kontextushatár
- 131072
- Becsült GPU memória
- Requires an updated assessment
- Tervezett RAM / lemez
- ≥ 64 GB / ≥ 150 GB
- Kiszolgálási futtatókörnyezet
- vLLM · HTTP API
- Licenc
- MIT; alapmodell Apache-2.0
A becslés tartalmazza az BF16 súlyokat, a KV gyorsítótárat, 2 GB munkaterületet és 15% GPU tartalékot. Az RAM és a lemez GlobalAtlas tervezési követelmények, nem a fejlesztő hivatalos minimumai. A lemeztípus, az illesztőprogramok és a futtatókörnyezet a telepítés előtt megerősítésre kerül. A 8192 tokenes kiszolgálási költségkeret tartalmazza a bemenetet és a kimenetet; a hosszabb kontextus vagy több egyidejű kérés átméretezést és terheléses tesztet igényel.
Eredeti modellkártya