Konfigurasi
Model penalaran DeepSeek terpisah yang didistilasi menggunakan output DeepSeek-R1 pada basis Qwen2.5-32B. Ini bukan model penuh 671B DeepSeek-R1 atau bundel dua model.
- Model
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Parameter / bobot
- 32.76B · — GB
- Format bobot
- BF16
- Konteks / konkurensi
- 8192 / 1
- Batas konteks checkpoint
- 131072
- Estimasi memori GPU
- Requires an updated assessment
- RAM / disk yang direncanakan
- ≥ 128 GB / ≥ 200 GB
- Runtime serving
- vLLM · HTTP API
- Lisensi
- MIT; model dasar Apache-2.0
Estimasi mencakup bobot BF16, cache KV, workspace 2 GB, dan ruang cadangan 15% GPU. RAM dan disk adalah kebutuhan perencanaan GlobalAtlas, bukan minimum resmi pengembang. Jenis disk, driver, dan runtime dikonfirmasi sebelum instalasi. Anggaran serving 8192 token mencakup input dan output; konteks yang lebih panjang atau lebih banyak permintaan simultan memerlukan penyesuaian ukuran dan uji beban.
Kartu model asli