การตัดสินใจด้านสถาปัตยกรรม
ใช้การ์ดโมเดลที่เลือกสำหรับการกำหนดขนาด ประมาณหน่วยความจำสำหรับน้ำหนัก 7B ที่หนาแน่นไม่สามารถนำไปใช้ซ้ำกับเวอร์ชัน Mistral อื่นได้
GLOBALATLAS AI · โครงสร้างพื้นฐานสำหรับ Mistral
โครงสร้างพื้นฐานสำหรับ Mistral
Mistral 7B และรุ่น Mistral อื่น ๆ แตกต่างกันในขนาดและสถาปัตยกรรม เลือกโมเดลเฉพาะก่อนกำหนดขนาดฮาร์ดแวร์
จับคู่สถาปัตยกรรม Mistral กับรันไทม์
- 01
รุ่นโมเดลและเวอร์ชันน้ำหนักที่แน่นอน
- 02
สถาปัตยกรรม Dense หรือ Mixture-of-Experts
- 03
รองรับ runtime, ความแม่นยำ และบริบท
ข้อกำหนดการกำหนดค่า
โมเดลหนาแน่น 7B ที่ความละเอียด 16 บิตมีน้ำหนักประมาณ 14 GB เท่านั้น อย่าลืมหน่วยความจำสำหรับรันไทม์และบริบท; อย่าสรุปจำนวนผู้ใช้จากประมาณการนี้