Конфигурация
DeepSeek-R1 шығыстары негізінде Qwen2.5-32B базасында ықшамдалған бөлек DeepSeek ойлау моделі. Бұл толық 671B DeepSeek-R1 моделі де, екі модельдің жиыны да емес.
- Модель
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Параметрлер / салмақтар
- 32.76B · — GB
- Салмақ форматы
- BF16
- Контекст / concurrency
- 8192 / 1
- Контекст лимиті чекпойнты
- 131072
- Шамаланған GPU жады
- Requires an updated assessment
- Жоспарланған RAM / диск
- ≥ 128 GB / ≥ 200 GB
- Қызмет көрсету ортасы
- vLLM · HTTP API
- Лицензия
- MIT; базалық модель Apache-2.0
Бағалауға BF16 салмақтары, KV cache, 2 GB жұмыс аймағы және 15% GPU қоры кіреді. RAM және диск — GlobalAtlas жоспарлау талаптары, әзірлеушінің ресми минимумдары емес. Диск түрі, драйверлер және жұмыс ортасы орнату алдында расталады. 8192-токендік қызмет көрсету бюджетіне кіріс пен шығыс кіреді; ұзағырақ контекст немесе бір уақытта көп сұрау өлшемін өзгерту мен жүктеме сынағын талап етеді.
Түпнұсқа model card