GLOBALATLAS AI · NAMJENSKI INFERENCE

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: self-hosted konfiguracija inferencije, BF16 težine, 8192-token kontekst, GPU memorija i izbor servera.

Konfiguracija

Poseban DeepSeek reasoning model, izdvojen iz DeepSeek-R1 izlaza na osnovi Qwen2.5-32B baze. To nije puni 671B DeepSeek-R1 model niti paket od dva modela.

Model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parametri / težine: 32.76B · — GB
Format težine: BF16
Kontekst / istovremenost: 8192 / 1
Ograničenje konteksta kontrolne tačke: 131072
Procijenjena GPU memorija: Requires an updated assessment
Planirano RAM / disk: ≥ 128 GB / ≥ 200 GB
Runtime za posluživanje: vLLM · HTTP API
Licenca: MIT; osnovni model Apache-2.0

Procjena uključuje BF16 težine, KV cache, 2 GB radni prostor i 15% GPU rezervu. RAM i disk su GlobalAtlas planirani zahtjevi, a ne zvanični minimumi developera. Vrsta diska, driveri i runtime potvrđuju se prije instalacije. 8192-token budžet za posluživanje uključuje ulaz i izlaz; duži kontekst ili više istovremenih zahtjeva zahtijeva prilagođavanje veličine i test opterećenja.

Originalna kartica modela

Odaberite svoju infrastrukturu

Odaberite hardver, zatim sa stručnjakom potvrdite dostupnost i instalaciju modela. Sama narudžba servera ne instalira model.

S vama ćemo odabrati kompatibilnu konfiguraciju za ovaj model.

Zatražite kompletno podešavanje

Navedite model, regiju i očekivano opterećenje. Naši stručnjaci će potvrditi hardver, instalaciju, zaštitu pristupa i konačnu cijenu.

Razgovarajte s Atlasom →

Zatražite pomoć stručnjaka →

Pošaljite svoje zahtjeve GlobalAtlas stručnjacima za individualni pregled konfiguracije. Oni će provjeriti hardver, kompatibilnost i uslove, a zatim odgovoriti e-poštom.