Configurazione
Un modello di ragionamento separato di DeepSeek, distillato usando gli output di DeepSeek-R1 su una base Qwen2.5-32B. Non è il modello completo da 671B DeepSeek-R1 né un pacchetto di due modelli.
- Modello
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Parametri / pesi
- 32.76B · — GB
- Formato dei pesi
- BF16
- Contesto / concorrenza
- 8192 / 1
- Limite del contesto checkpoint
- 131072
- Memoria GPU stimata
- Requires an updated assessment
- RAM / disco pianificati
- ≥ 128 GB / ≥ 200 GB
- Runtime di serving
- vLLM · HTTP API
- Licenza
- MIT; modello base Apache-2.0
La stima include pesi BF16, cache KV, spazio di lavoro da 2 GB e margine 15% GPU. RAM e disco sono requisiti di pianificazione GlobalAtlas, non i minimi ufficiali dello sviluppatore. Tipo di disco, driver e runtime vengono confermati prima dell’installazione. Il budget di serving da 8192 token include input e output; un contesto più lungo o più richieste simultanee richiedono un ridimensionamento e un test di carico.
Scheda originale del modello