GLOBALATLAS AI · INFERENSI DEDIKASI

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: konfigurasi inferensi sing di-host dhéwé, bobot BF16, konteks token 8192, memori GPU, lan pilihan server.

Konfigurasi

Model teks sing di-tune instruksi nganggo tokenizer v3. Function calling mbutuhake chat template sing kompatibel lan eksekusi alat ing sisih aplikasi.

Model: mistralai/Mistral-7B-Instruct-v0.3
Parameter / bobot: 7.25B · — GB
Format bobot: BF16
Konteks / konkurensi: 8192 / 1
Wates konteks checkpoint: 32768
Memori GPU sing diprakirakake: Requires an updated assessment
RAM / disk sing direncanakake: ≥ 32 GB / ≥ 100 GB
Runtime panyajian: vLLM · HTTP API
Lisensi: Apache-2.0

Perkiraan kalebu bobot BF16, cache KV, workspace 2 GB, lan ruang kepala 15% GPU. RAM lan disk minangka syarat perencanaan GlobalAtlas, dudu minima resmi pangembang. Jinis disk, driver, lan runtime dikonfirmasi sadurunge instalasi. Anggaran panyajian token 8192 kalebu input lan output; konteks sing luwih dawa utawa panyuwunan simultan sing luwih akeh mbutuhake pangowahan ukuran lan test beban.

Kartu model asli

Pilih infrastruktur sampeyan

Pilih hardware, banjur konfirmasi kasedhiyan lan instalasi model karo spesialis. Pesenan server wae ora nginstal model.

Kita bakal milih konfigurasi sing kompatibel kanggo model iki bebarengan karo sampeyan.

Panjaluk setelan lengkap

Lebokna model, wilayah, lan beban sing dikarepake. Spesialis kita bakal ngonfirmasi hardware, instalasi, proteksi akses, lan rega pungkasan.

Rembugan karo Atlas →

Panjaluk pitulungan spesialis →

Kirim syarat sampeyan menyang spesialis GlobalAtlas kanggo tinjauan konfigurasi individu. Dheweke bakal mriksa hardware, kompatibilitas, lan syarat, banjur mbales liwat email.