Конфигурация
Отделен модел за разсъждение DeepSeek, дистилиран с изходи DeepSeek-R1 върху база Qwen2.5-32B. Това не е пълният модел 671B DeepSeek-R1 и не е пакет от два модела.
- Модел
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Параметри / тегла
- 32.76B · — GB
- Формат на теглата
- BF16
- Контекст / едновременност
- 8192 / 1
- Лимит на контекста за checkpoint
- 131072
- Очаквана памет GPU
- Requires an updated assessment
- Планирана RAM / диск
- ≥ 128 GB / ≥ 200 GB
- Време за работа на serving
- vLLM · HTTP API
- Лиценз
- MIT; базов модел Apache-2.0
Оценката включва теглата BF16, KV cache, 2 GB работно пространство и 15% GPU резерв. RAM и диск са изисквания за планиране GlobalAtlas, а не официалните минимуми на разработчика. Типът диск, драйверите и средата за изпълнение се потвърждават преди инсталация. Бюджетът за обслужване на 8192 токена включва вход и изход; по-дълъг контекст или повече едновременни заявки изискват преоразмеряване и load test.
Оригинална карта на модела