Konfiguracija
Посебан reasoning модел DeepSeek, дестилован на основу излаза DeepSeek-R1 на бази Qwen2.5-32B. То није цео модел 671B DeepSeek-R1 нити пакет од два модела.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Параметри / тежине
- 32.76B · — GB
- Формат тежина
- BF16
- Контекст / паралелни захтеви
- 8192 / 1
- Ограничење контекста checkpoint-а
- 131072
- Процењена меморија GPU
- Requires an updated assessment
- Планирана RAM / диск
- ≥ 128 GB / ≥ 200 GB
- Runtime за сервирање
- vLLM · HTTP API
- Лиценца
- MIT; базни модел Apache-2.0
Процена укључује тежине BF16, KV кеш, радни простор од 2 GB и 15% GPU резерве. RAM и диск су захтеви за GlobalAtlas планирање, а не званични минимуми програмера. Тип диска, драјвери и runtime потврђују се пре инсталације. Budget за сервирање од 8192 токена обухвата улаз и излаз; дужи контекст или више истовремених захтева захтевају прилагођавање величине и тест оптерећења.
Оригинална model card