GLOBALATLAS AI · INFERENSI TERDEDIKASI

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: konfigurasi inferensi self-hosted, bobot BF16, konteks 8192 token, memori GPU, dan pemilihan server.

Konfigurasi

Model teks yang disetel untuk instruksi. Pencarian dokumen memerlukan layanan pengambilan/pengindeksan terpisah; gambar dan audio tidak didukung oleh checkpoint ini.

Model: Qwen/Qwen2.5-32B-Instruct
Parameter / bobot: 32.76B · — GB
Format bobot: BF16
Konteks / konkurensi: 8192 / 1
Batas konteks checkpoint: 32768
Estimasi memori GPU: Requires an updated assessment
RAM / disk yang direncanakan: ≥ 128 GB / ≥ 200 GB
Runtime serving: vLLM · HTTP API
Lisensi: Apache-2.0

Estimasi mencakup bobot BF16, cache KV, workspace 2 GB, dan ruang cadangan 15% GPU. RAM dan disk adalah kebutuhan perencanaan GlobalAtlas, bukan minimum resmi pengembang. Jenis disk, driver, dan runtime dikonfirmasi sebelum instalasi. Anggaran serving 8192 token mencakup input dan output; konteks yang lebih panjang atau lebih banyak permintaan simultan memerlukan penyesuaian ukuran dan uji beban.

Kartu model asli

Pilih infrastruktur Anda

Pilih perangkat keras, lalu konfirmasikan ketersediaan dan instalasi model dengan spesialis. Pesanan server saja tidak akan menginstal model.

Kami akan memilih konfigurasi yang kompatibel untuk model ini bersama Anda.

Minta pengaturan lengkap

Cantumkan model, wilayah, dan beban yang diharapkan. Spesialis kami akan mengonfirmasi perangkat keras, instalasi, perlindungan akses, dan harga akhir.

Diskusikan dengan Atlas →

Minta bantuan spesialis →

Kirim kebutuhan Anda ke spesialis GlobalAtlas untuk tinjauan konfigurasi individual. Mereka akan memeriksa perangkat keras, kompatibilitas, dan ketentuan, lalu membalas melalui email.