การกำหนดค่า
โมเดลข้อความที่ปรับด้วยคำสั่ง พร้อม tokenizer v3 การเรียกใช้ฟังก์ชันต้องมีเทมเพลตแชตที่เข้ากันได้และการดำเนินการเครื่องมือฝั่งแอปพลิเคชัน
- โมเดล
- mistralai/Mistral-7B-Instruct-v0.3
- พารามิเตอร์ / น้ำหนัก
- 7.25B · — GB
- รูปแบบน้ำหนัก
- BF16
- บริบท / การประมวลผลพร้อมกัน
- 8192 / 1
- ขีดจำกัดบริบทของ Checkpoint
- 32768
- หน่วยความจำ GPU โดยประมาณ
- Requires an updated assessment
- RAM / ดิสก์ที่วางแผนไว้
- ≥ 32 GB / ≥ 100 GB
- รันไทม์การให้บริการ
- vLLM · HTTP API
- ใบอนุญาต
- Apache-2.0
ประมาณการนี้รวมถึงน้ำหนัก BF16, KV cache, พื้นที่ทำงาน 2 GB และ headroom 15% GPU RAM และดิสก์เป็นข้อกำหนดการวางแผนของ GlobalAtlas ไม่ใช่ขั้นต่ำอย่างเป็นทางการของนักพัฒนา ชนิดดิสก์ ไดรเวอร์ และรันไทม์จะยืนยันก่อนติดตั้ง งบประมาณการให้บริการ 8192 โทเค็นรวมอินพุตและเอาต์พุต; บริบทที่ยาวขึ้นหรือคำขอพร้อมกันมากขึ้นต้องปรับขนาดใหม่และทดสอบโหลด
การ์ดโมเดลต้นฉบับ