GLOBALATLAS AI · DEDIKERET INFERENS

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: selvhostet inferenskonfiguration, BF16-vægte, 8192-token-kontekst, GPU-hukommelse og servervalg.

Konfiguration

En separat DeepSeek-ræsonneringsmodel destilleret ved hjælp af DeepSeek-R1-output på et Qwen2.5-32B-baseret grundlag. Det er ikke den fulde 671B DeepSeek-R1-model eller en pakke med to modeller.

Model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parametre / vægte: 32.76B · — GB
Vægtformat: BF16
Kontekst / samtidighed: 8192 / 1
Maksimum for kontekst for checkpoint: 131072
Estimeret GPU-hukommelse: Requires an updated assessment
Planlagt RAM / disk: ≥ 128 GB / ≥ 200 GB
Serving-runtime: vLLM · HTTP API
Licens: MIT; basismodellen Apache-2.0

Estimatet inkluderer BF16-vægte, KV-cache, 2 GB arbejdsområde og 15% GPU-margin. RAM og disk er GlobalAtlas planlægningskrav, ikke udviklerens officielle minimum. Disktype, drivere og runtime bekræftes før installation. 8192-token-servingbudgettet omfatter input og output; en længere kontekst eller flere samtidige anmodninger kræver tilpasning og en belastningstest.

Oprindeligt modelkort

Vælg din infrastruktur

Vælg hardware, og bekræft derefter tilgængelighed og modelinstallation med en specialist. Serverbestillingen alene installerer ikke modellen.

Vi vælger sammen en kompatibel konfiguration til denne model.

Anmod om den komplette opsætning

Medtag model, region og forventet belastning. Vores specialister bekræfter hardware, installation, adgangsbeskyttelse og den endelige pris.

Tal med Atlas →

Anmod om hjælp fra en specialist →

Send dine krav til GlobalAtlas-specialister for en individuel gennemgang af konfigurationen. De vil kontrollere hardware, kompatibilitet og vilkår og derefter svare via e-mail.