GLOBALATLAS AI · INFERENS DEDIKASI

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: konfigurasi inferens hos kendiri, berat BF16, konteks 8192 token, memori GPU dan pemilihan pelayan.

Konfigurasi

Model teks yang disesuaikan untuk arahan. Carian dokumen memerlukan perkhidmatan pengambilan/pengindeksan berasingan; imej dan audio tidak disokong oleh checkpoint ini.

Model: Qwen/Qwen2.5-32B-Instruct
Parameter / berat: 32.76B · — GB
Format berat: BF16
Konteks / konkurensi: 8192 / 1
Had konteks checkpoint: 32768
Anggaran memori GPU: Requires an updated assessment
RAM / cakera yang dirancang: ≥ 128 GB / ≥ 200 GB
Runtime serving: vLLM · HTTP API
Lesen: Apache-2.0

Anggaran termasuk berat BF16, cache KV, ruang kerja 2 GB dan ruang tambahan 15% GPU. RAM dan cakera ialah keperluan perancangan GlobalAtlas, bukan minimum rasmi pembangun. Jenis cakera, pemacu dan runtime disahkan sebelum pemasangan. Bajet serving token 8192 merangkumi input dan output; konteks yang lebih panjang atau lebih banyak permintaan serentak memerlukan saiz semula dan ujian beban.

Kad model asal

Pilih infrastruktur anda

Pilih perkakasan, kemudian sahkan ketersediaan dan pemasangan model dengan pakar. Pesanan pelayan sahaja tidak memasang model.

Kami akan memilih konfigurasi yang serasi untuk model ini bersama anda.

Minta persediaan lengkap

Sertakan model, rantau dan beban yang dijangka. Pakar kami akan mengesahkan perkakasan, pemasangan, perlindungan akses dan harga akhir.

Bincang dengan Atlas →

Minta bantuan pakar →

Hantarkan keperluan anda kepada pakar GlobalAtlas untuk semakan konfigurasi individu. Mereka akan menyemak perkakasan, keserasian dan terma, kemudian membalas melalui e-mel.