GLOBALATLAS AI · INFERENSI TERDEDIKASI

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: konfigurasi inferensi self-hosted, bobot BF16, konteks 8192 token, memori GPU, dan pemilihan server.

Konfigurasi

Model teks yang disetel untuk instruksi dengan tokenizer v3. Panggilan fungsi memerlukan template chat yang kompatibel dan eksekusi alat di sisi aplikasi.

Model: mistralai/Mistral-7B-Instruct-v0.3
Parameter / bobot: 7.25B · — GB
Format bobot: BF16
Konteks / konkurensi: 8192 / 1
Batas konteks checkpoint: 32768
Estimasi memori GPU: Requires an updated assessment
RAM / disk yang direncanakan: ≥ 32 GB / ≥ 100 GB
Runtime serving: vLLM · HTTP API
Lisensi: Apache-2.0

Estimasi mencakup bobot BF16, cache KV, workspace 2 GB, dan ruang cadangan 15% GPU. RAM dan disk adalah kebutuhan perencanaan GlobalAtlas, bukan minimum resmi pengembang. Jenis disk, driver, dan runtime dikonfirmasi sebelum instalasi. Anggaran serving 8192 token mencakup input dan output; konteks yang lebih panjang atau lebih banyak permintaan simultan memerlukan penyesuaian ukuran dan uji beban.

Kartu model asli

Pilih infrastruktur Anda

Pilih perangkat keras, lalu konfirmasikan ketersediaan dan instalasi model dengan spesialis. Pesanan server saja tidak akan menginstal model.

Kami akan memilih konfigurasi yang kompatibel untuk model ini bersama Anda.

Minta pengaturan lengkap

Cantumkan model, wilayah, dan beban yang diharapkan. Spesialis kami akan mengonfirmasi perangkat keras, instalasi, perlindungan akses, dan harga akhir.

Diskusikan dengan Atlas →

Minta bantuan spesialis →

Kirim kebutuhan Anda ke spesialis GlobalAtlas untuk tinjauan konfigurasi individual. Mereka akan memeriksa perangkat keras, kompatibilitas, dan ketentuan, lalu membalas melalui email.