GLOBALATLAS AI · INFERENȚĂ DEDICATĂ

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: configurație de inferență găzduită local, greutăți BF16, context de 8192 tokeni, memorie GPU și selecție de server.

Configurație

Un model de raționament DeepSeek separat, distilat folosind ieșiri DeepSeek-R1 pe o bază Qwen2.5-32B. Nu este modelul complet 671B DeepSeek-R1 și nici un pachet de două modele.

Model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parametri / greutăți: 32.76B · — GB
Formatul greutăților: BF16
Context / concurență: 8192 / 1
Limită de context a checkpointului: 131072
Memorie GPU estimată: Requires an updated assessment
RAM / disc planificate: ≥ 128 GB / ≥ 200 GB
Rulare de servire: vLLM · HTTP API
Licență: MIT; model de bază Apache-2.0

Estimarea include greutățile BF16, cache-ul KV, spațiul de lucru de 2 GB și marja de siguranță 15% GPU. RAM și discul sunt cerințe de planificare GlobalAtlas, nu minimele oficiale ale dezvoltatorului. Tipul discului, driverele și runtime-ul sunt confirmate înainte de instalare. Bugetul de servire de 8192 tokeni include intrarea și ieșirea; un context mai lung sau mai multe solicitări simultane necesită redimensionare și un test de încărcare.

Cardul original al modelului

Alegeți infrastructura dvs.

Selectați hardware-ul, apoi confirmați disponibilitatea și instalarea modelului cu un specialist. Comanda de server singură nu instalează modelul.

Vom selecta împreună o configurație compatibilă pentru acest model.

Solicitați configurarea completă

Includeți modelul, regiunea și sarcina așteptată. Specialiștii noștri vor confirma hardware-ul, instalarea, protecția accesului și prețul final.

Discutați cu Atlas →

Solicitați asistență de specialitate →

Trimiteți cerințele dvs. specialiștilor GlobalAtlas pentru o analiză individuală a configurației. Ei vor verifica hardware-ul, compatibilitatea și termenii, apoi vor răspunde prin email.