GLOBALATLAS AI · INFERENS DEDIKASI

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: konfigurasi inferens hos kendiri, berat BF16, konteks 8192 token, memori GPU dan pemilihan pelayan.

Konfigurasi

Model penaakulan DeepSeek berasingan yang disuling menggunakan output DeepSeek-R1 pada asas Qwen2.5-32B. Ia bukan model penuh 671B DeepSeek-R1 atau gabungan dua model.

Model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parameter / berat: 32.76B · — GB
Format berat: BF16
Konteks / konkurensi: 8192 / 1
Had konteks checkpoint: 131072
Anggaran memori GPU: Requires an updated assessment
RAM / cakera yang dirancang: ≥ 128 GB / ≥ 200 GB
Runtime serving: vLLM · HTTP API
Lesen: MIT; model asas Apache-2.0

Anggaran termasuk berat BF16, cache KV, ruang kerja 2 GB dan ruang tambahan 15% GPU. RAM dan cakera ialah keperluan perancangan GlobalAtlas, bukan minimum rasmi pembangun. Jenis cakera, pemacu dan runtime disahkan sebelum pemasangan. Bajet serving token 8192 merangkumi input dan output; konteks yang lebih panjang atau lebih banyak permintaan serentak memerlukan saiz semula dan ujian beban.

Kad model asal

Pilih infrastruktur anda

Pilih perkakasan, kemudian sahkan ketersediaan dan pemasangan model dengan pakar. Pesanan pelayan sahaja tidak memasang model.

Kami akan memilih konfigurasi yang serasi untuk model ini bersama anda.

Minta persediaan lengkap

Sertakan model, rantau dan beban yang dijangka. Pakar kami akan mengesahkan perkakasan, pemasangan, perlindungan akses dan harga akhir.

Bincang dengan Atlas →

Minta bantuan pakar →

Hantarkan keperluan anda kepada pakar GlobalAtlas untuk semakan konfigurasi individu. Mereka akan menyemak perkakasan, keserasian dan terma, kemudian membalas melalui e-mel.