Konfigurācija
Atsevišķs DeepSeek spriešanas modelis, destilēts, izmantojot DeepSeek-R1 izvades uz Qwen2.5-32B bāzes. Tas nav pilnais 671B DeepSeek-R1 modelis vai divu modeļu komplekts.
- Modelis
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Parametri / svari
- 32.76B · — GB
- Svaru formāts
- BF16
- Konteksts / vienlaicīgums
- 8192 / 1
- Pārbaudes punkta konteksta limits
- 131072
- Aprēķinātā GPU atmiņa
- Requires an updated assessment
- Plānots RAM / disks
- ≥ 128 GB / ≥ 200 GB
- Servēšanas izpildlaiks
- vLLM · HTTP API
- Licence
- MIT; bāzes modelis Apache-2.0
Aplēse ietver BF16 svarus, KV kešatmiņu, 2 GB darba zonu un 15% GPU rezervi. RAM un disks ir GlobalAtlas plānošanas prasības, nevis izstrādātāja oficiālie minimumi. Diska veids, draiveri un izpildlaiks tiek apstiprināti pirms instalēšanas. 8192 tokenu servēšanas budžets ietver ievadi un izvadi; garāks konteksts vai vairāk vienlaicīgu pieprasījumu prasa pielāgošanu un slodzes testu.
Sākotnējā modeļa karte