DeepSeek-R1-Distill-Qwen-32B

Konfiguration

Ein separates DeepSeek-Reasoning-Modell, destilliert mit DeepSeek-R1-Ausgaben auf einer Qwen2.5-32B-Basis. Es handelt sich nicht um das vollständige 671B DeepSeek-R1-Modell oder ein Bündel aus zwei Modellen.

Modell

deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

Parameter / Gewichte

32.76B · — GB

Gewichtsformat

BF16

Kontext / Parallelität

8192 / 1

Checkpoint-Kontextlimit

131072

Geschätzter GPU-Speicher

Requires an updated assessment

Geplantes RAM / Laufwerk

≥ 128 GB / ≥ 200 GB

Bereitstellungs-Runtime

vLLM · HTTP API

Lizenz

MIT; Basismodell Apache-2.0

Die Schätzung umfasst BF16-Gewichte, KV-Cache, 2 GB Arbeitsbereich und 15% GPU-Puffer. RAM und Laufwerk sind GlobalAtlas Planungsanforderungen, nicht die offiziellen Mindestwerte des Entwicklers. Laufwerkstyp, Treiber und Runtime werden vor der Installation bestätigt. Das 8192-Token-Bereitstellungsbudget umfasst Ein- und Ausgabe; ein längerer Kontext oder mehr gleichzeitige Anfragen erfordern eine Neuabstimmung und einen Lasttest.

Wählen Sie Ihre Infrastruktur

Wählen Sie Hardware aus und bestätigen Sie dann mit einem Spezialisten die Verfügbarkeit und die Modellinstallation. Allein die Serverbestellung installiert das Modell nicht.

Wir wählen gemeinsam mit Ihnen eine kompatible Konfiguration für dieses Modell aus.