GLOBALATLAS AI · TOEGEWIJDE INFERENTIE

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: self-hosted inferentieconfiguratie, gewichten van BF16, context van 8192 tokens, geheugen van GPU en serverselectie.

Configuratie

Een afzonderlijk redeneermodel van DeepSeek, gedistilleerd met DeepSeek-R1-uitvoer op een basis van Qwen2.5-32B. Het is niet het volledige model van 671B DeepSeek-R1 en ook geen bundel van twee modellen.

Model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parameters / gewichten: 32.76B · — GB
Gewichtsformaat: BF16
Context / gelijktijdigheid: 8192 / 1
Contextlimiet van checkpoint: 131072
Geschat geheugen van GPU: Requires an updated assessment
Geplande RAM / schijf: ≥ 128 GB / ≥ 200 GB
Serving-runtime: vLLM · HTTP API
Licentie: MIT; basismodel Apache-2.0

De schatting omvat gewichten van BF16, KV-cache, 2 GB werkruimte en 15% GPU-marge. RAM en schijf zijn GlobalAtlas planningsvereisten, niet de officiële minima van de ontwikkelaar. Schijftype, drivers en runtime worden vóór installatie bevestigd. Het servingbudget voor 8192 tokens omvat input en output; een langere context of meer gelijktijdige verzoeken vereist opschalen en een belastingstest.

Originele modelkaart

Kies uw infrastructuur

Selecteer hardware en bevestig daarna samen met een specialist de beschikbaarheid en modelinstallatie. De serverbestelling alleen installeert het model niet.

We selecteren samen met u een compatibele configuratie voor dit model.

Vraag de complete setup aan

Neem het model, de regio en de verwachte belasting op. Onze specialisten bevestigen hardware, installatie, toegangsbeveiliging en de eindprijs.

Bespreek met Atlas →

Vraag specialistische सहायता aan →

Stuur uw vereisten naar specialisten van GlobalAtlas voor een individuele beoordeling van de configuratie. Zij controleren hardware, compatibiliteit en voorwaarden en reageren vervolgens per e-mail.