Тохиргоо
DeepSeek-R1-ийн гаргасан үр дүнг ашиглан Qwen2.5-32B суурь дээр шингээж боловсруулсан тусдаа DeepSeek reasoning загвар. Энэ нь бүрэн 671B DeepSeek-R1 загвар ч биш, хоёр загварын багц ч биш.
- Загвар
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Параметр / weights
- 32.76B · — GB
- Weights-ийн формат
- BF16
- Контекст / зэрэгцээ ажиллагаа
- 8192 / 1
- Контекстийн checkpoint хязгаар
- 131072
- Тооцоолсон GPU санах ой
- Requires an updated assessment
- Төлөвлөсөн RAM / диск
- ≥ 128 GB / ≥ 200 GB
- Serving runtime
- vLLM · HTTP API
- Лиценз
- MIT; base model Apache-2.0
Тооцоонд BF16 weights, KV cache, 2 GB workspace, 15% GPU нөөц багтсан. RAM болон диск нь хөгжүүлэгчийн албан ёсны доод хэмжээ биш, GlobalAtlas төлөвлөлтийн шаардлага. Дискний төрөл, драйвер, runtime-ыг суурилуулалтын өмнө баталгаажуулна. 8192-token serving төсөвт оролт ба гаралт хоёулаа багтана; урт контекст эсвэл олон зэрэгцээ хүсэлт нь хэмжээг өөрчлөх, ачааллын тест хийх шаардлагатай.
Эх загварын карт