GLOBALATLAS AI · Pühendatud inferents

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: isehostitav järelduskonfiguratsioon, BF16 kaalud, 8192-tokeniline kontekst, GPU mälu ja serveri valik.

Konfiguratsioon

Eraldi DeepSeek mõtlemismudel, destilleeritud DeepSeek-R1 väljundite põhjal Qwen2.5-32B baasil. See ei ole täielik 671B DeepSeek-R1 mudel ega kahe mudeli komplekt.

Mudel: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parameetrid / kaalud: 32.76B · — GB
Kaaluvorming: BF16
Kontekst / samaaegsus: 8192 / 1
Kontrollpunkti konteksti limiit: 131072
Hinnanguline GPU mälu: Requires an updated assessment
Planeeritud RAM / ketas: ≥ 128 GB / ≥ 200 GB
Teeninduse tööaeg: vLLM · HTTP API
Litsents: MIT; alusmudel Apache-2.0

Hinnang sisaldab BF16 kaale, KV-vahemälu, 2 GB tööruumi ja 15% GPU varuruumi. RAM ja ketas on GlobalAtlas planeerimisnõuded, mitte arendaja ametlik miinimum. Kettatüüp, draiverid ja tööaeg kinnitatakse enne paigaldust. 8192-tokeniline teeninduseelarve hõlmab sisendit ja väljundit; pikem kontekst või suurem samaaegsete päringute arv nõuab suurendamist ja koormustesti.

Algne mudelikart

Valige oma taristu

Valige riistvara ning kinnitage seejärel spetsialistiga saadavus ja mudeli paigaldus. Ainult serveritellimus mudelit ei paigalda.

Valime selle mudeli jaoks teiega ühilduva konfiguratsiooni.

Taotlege täielikku seadistust

Lisage mudel, piirkond ja eeldatav koormus. Meie spetsialistid kinnitavad riistvara, paigalduse, ligipääsukaitse ja lõpphinna.

Arutage Atlasiga →

Taotlege spetsialisti abi →

Saatke oma nõuded GlobalAtlas spetsialistidele individuaalse konfiguratsiooni ülevaatuseks. Nad kontrollivad riistvara, ühilduvust ja tingimusi ning vastavad seejärel e-posti teel.