การตัดสินใจด้านสถาปัตยกรรม
อย่ากำหนดขนาดครอบคลุมตระกูล Llama จากตัวอย่าง 8B หน่วยความจำแคชบริบทและโอเวอร์เฮดรันไทม์เป็นส่วนเพิ่มเติมจากหน่วยความจำที่ใช้
GLOBALATLAS AI · โครงสร้างพื้นฐานสำหรับ Llama
โครงสร้างพื้นฐานสำหรับ Llama
Llama เป็นกลุ่มของโมเดล ตัวอย่างเช่น Llama 3.1 8B เป็นโมเดลที่มีพารามิเตอร์ 8 พันล้าน ไม่ใช่คำสัญญาความสามารถของแต่ละรุ่น Llama
เตรียมโปรไฟล์การใช้งาน Llama
- 01
เวอร์ชันโมเดล ขนาด และใบอนุญาต
- 02
ความแม่นยำและหน่วยความจำรันไทม์นอกเหนือจากน้ำหนัก
- 03
เทมเพลตแชท, บริบท และคำถามประเมินผล
ข้อกำหนดการกำหนดค่า
สำหรับน้ำหนักหนาแน่น 8B ที่ 16 บิต ค่าประมาณน้ำหนักเท่านั้นคือ 16 GB ในฐานสิบ ระบบ runtime และแคช KV ต้องการหน่วยความจำเพิ่มเติม ตรวจสอบใบอนุญาตโมเดล