GLOBALATLAS AI · INFERENZA DEDIKATA

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: konfigurazzjoni ta’ inferenza ospitata minnek, piżijiet BF16, kuntest ta’ 8192 tokens, memorja ta’ GPU u għażla tas-server.

Konfigurazzjoni

Mudell ta’ raġunament separat ta’ DeepSeek, distillat bl-użu tal-outputi ta’ DeepSeek-R1 fuq bażi ta’ Qwen2.5-32B. Dan mhuwiex il-mudell sħiħ ta’ 671B DeepSeek-R1 jew pakkett ta’ żewġ mudelli.

Mudell: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parametri / piżijiet: 32.76B · — GB
Format tal-piż: BF16
Kuntest / konkorenza: 8192 / 1
Limitu tal-kuntest ta’ checkpoint: 131072
Memorja stmata ta’ GPU: Requires an updated assessment
RAM / disk ippjanat: ≥ 128 GB / ≥ 200 GB
Runtime tas-servizz: vLLM · HTTP API
Liċenzja: MIT; mudell bażi Apache-2.0

L-istima tinkludi piżijiet ta’ BF16, KV cache, workspace ta’ 2 GB u headroom ta’ 15% GPU. RAM u disk huma rekwiżiti ppjanati ta’ GlobalAtlas, mhux il-minimi uffiċjali tal-iżviluppatur. It-tip ta’ disk, is-sewwieqa u r-runtime jiġu kkonfermati qabel l-installazzjoni. Il-baġit tas-servizz ta’ 8192 tokens jinkludi input u output; kuntest itwal jew iktar talbiet simultanji jeħtieġu daqs mill-ġdid u load test.

Kard oriġinali tal-mudell

Agħżel l-infrastruttura tiegħek

Agħżel il-hardware, imbagħad ikkonferma d-disponibbiltà u l-installazzjoni tal-mudell ma’ speċjalist. L-ordni tas-server biss ma tinstalla l-mudell.

Aħna nagħżlu miegħek konfigurazzjoni kompatibbli għal dan il-mudell.

Itlob is-setup komplet

Inkludi l-mudell, ir-reġjun u t-tagħbija mistennija. L-ispeċjalisti tagħna jikkonfermaw il-hardware, l-installazzjoni, il-protezzjoni tal-aċċess u l-prezz finali.

Iddiskuti ma’ Atlas →

Itlob għajnuna minn speċjalist →

Ibgħat ir-rekwiżiti tiegħek lill-ispeċjalisti ta’ GlobalAtlas għal reviżjoni individwali tal-konfigurazzjoni. Huma jiċċekkjaw il-hardware, il-kompatibbiltà u t-termini, imbagħad iwieġbu bl-email.