Конфигурација
Посебен модел за резонирање DeepSeek, дестилиран со излези од DeepSeek-R1 врз основа на Qwen2.5-32B. Тоа не е полниот модел 671B DeepSeek-R1 ниту пакет од два модели.
- Модел
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Параметри / тежини
- 32.76B · — GB
- Формат на тежини
- BF16
- Контекст / истовременост
- 8192 / 1
- Лимит на контекст за checkpoint
- 131072
- Проценета меморија GPU
- Requires an updated assessment
- Планирана RAM / диск
- ≥ 128 GB / ≥ 200 GB
- Serving runtime
- vLLM · HTTP API
- Лиценца
- MIT; основен модел Apache-2.0
Проценката вклучува тежини BF16, KV cache, работен простор од 2 GB и 15% GPU резерва. RAM и дискот се барања за планирање на GlobalAtlas, а не официјални минимални вредности на развивачот. Типот на дискот, драјверите и runtime-от се потврдуваат пред инсталација. Буџетот за сервирање од 8192 токени ги вклучува влезот и излезот; подолг контекст или повеќе истовремени барања бараат измена на големината и load test.
Оригинална картичка на моделот