GLOBALATLAS AI · DEDIKERT INFERENS

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: selvhostet inferenskonfigurasjon, BF16-vekter, 8192-tokenkontekst, GPU-minne og servervalg.

Konfigurasjon

En separat DeepSeek-resoneringsmodell destillert med DeepSeek-R1-utdata på en Qwen2.5-32B-base. Dette er ikke den fullstendige 671B DeepSeek-R1-modellen eller en pakke med to modeller.

Modell: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parametere / vekter: 32.76B · — GB
Vektformat: BF16
Kontekst / samtidighet: 8192 / 1
Grense for kontekst for sjekkpunkt: 131072
Estimert GPU-minne: Requires an updated assessment
Planlagt RAM / disk: ≥ 128 GB / ≥ 200 GB
Serveringskjøretid: vLLM · HTTP API
Lisens: MIT; basismodell Apache-2.0

Estimatet inkluderer BF16-vekter, KV-cache, 2 GB arbeidsområde og 15% GPU-margin. RAM og disk er GlobalAtlas-planleggingskrav, ikke utviklerens offisielle minimum. Disktype, drivere og kjøretid bekreftes før installasjon. Serveringsbudsjettet på 8192-tokens inkluderer input og output; lengre kontekst eller flere samtidige forespørsler krever justering av størrelse og en lasttest.

Originalt modellkort

Velg infrastrukturen din

Velg maskinvare, og bekreft deretter tilgjengelighet og modellinstallasjon med en spesialist. Serverbestillingen alene installerer ikke modellen.

Vi velger en kompatibel konfigurasjon for denne modellen sammen med deg.

Be om komplett oppsett

Ta med modellen, regionen og forventet last. Våre spesialister bekrefter maskinvare, installasjon, tilgangsbeskyttelse og endelig pris.

Drøft med Atlas →

Be om bistand fra spesialist →

Send kravene dine til GlobalAtlas-spesialister for en individuell gjennomgang av konfigurasjonen. De vil kontrollere maskinvare, kompatibilitet og vilkår, og deretter svare på e-post.