GLOBALATLAS AI · DEDIKADONG INFERENCE

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: self-hosted inference configuration, BF16 weights, 8192-token context, GPU memory at pagpili ng server.

Configuration

Isang hiwalay na DeepSeek reasoning model na dinistil mula sa mga output ng DeepSeek-R1 sa batayang Qwen2.5-32B. Hindi ito ang buong modelong 671B DeepSeek-R1 o isang bundle ng dalawang modelo.

Modelo: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Mga parameter / weights: 32.76B · — GB
Format ng weights: BF16
Context / concurrency: 8192 / 1
Limit ng context ng checkpoint: 131072
Tantyang memorya ng GPU: Requires an updated assessment
Nakaplano RAM / disk: ≥ 128 GB / ≥ 200 GB
Serving runtime: vLLM · HTTP API
Lisensya: MIT; base model Apache-2.0

Kasama sa pagtatantya ang mga weights ng BF16, KV cache, 2 GB workspace, at 15% GPU na headroom. Ang RAM at disk ay mga GlobalAtlas kinakailangan sa pagpaplano, hindi ang opisyal na minimum ng developer. Kinukumpirma ang uri ng disk, mga driver, at runtime bago ang pag-install. Kasama sa serving budget na 8192-token ang input at output; ang mas mahabang context o mas maraming sabayang request ay nangangailangan ng pag-resize at load test.

Orihinal na model card

Pumili ng iyong imprastraktura

Pumili ng hardware, pagkatapos ay kumpirmahin ang availability at pag-install ng modelo sa isang espesyalista. Ang pag-order lang ng server ay hindi nag-i-install ng modelo.

Pipili kami kasama mo ng katugmang konfigurasyon para sa modelong ito.

Humiling ng kumpletong setup

Isama ang modelo, rehiyon, at inaasahang load. Kukumpirmahin ng aming mga espesyalista ang hardware, pag-install, proteksiyon sa access, at ang pangwakas na presyo.

Talakayin sa Atlas →

Humiling ng tulong ng espesyalista →

Ipadala ang iyong mga kinakailangan sa mga espesyalista ng GlobalAtlas para sa indibidwal na pagsusuri ng konfigurasyon. Susuriin nila ang hardware, pagiging tugma, at mga tuntunin, saka sasagot sa email.