การกำหนดค่า
โมเดลข้อความที่ปรับด้วยคำสั่ง การค้นหาเอกสารต้องมีบริการดึงข้อมูล/จัดทำดัชนีแยกต่างหาก และไม่รองรับรูปภาพหรือเสียงใน checkpoint นี้
- โมเดล
- Qwen/Qwen2.5-7B-Instruct
- พารามิเตอร์ / น้ำหนัก
- 7.62B · — GB
- รูปแบบน้ำหนัก
- BF16
- บริบท / การประมวลผลพร้อมกัน
- 8192 / 1
- ขีดจำกัดบริบทของ Checkpoint
- 32768
- หน่วยความจำ GPU โดยประมาณ
- Requires an updated assessment
- RAM / ดิสก์ที่วางแผนไว้
- ≥ 32 GB / ≥ 100 GB
- รันไทม์การให้บริการ
- vLLM · HTTP API
- ใบอนุญาต
- Apache-2.0
ประมาณการนี้รวมถึงน้ำหนัก BF16, KV cache, พื้นที่ทำงาน 2 GB และ headroom 15% GPU RAM และดิสก์เป็นข้อกำหนดการวางแผนของ GlobalAtlas ไม่ใช่ขั้นต่ำอย่างเป็นทางการของนักพัฒนา ชนิดดิสก์ ไดรเวอร์ และรันไทม์จะยืนยันก่อนติดตั้ง งบประมาณการให้บริการ 8192 โทเค็นรวมอินพุตและเอาต์พุต; บริบทที่ยาวขึ้นหรือคำขอพร้อมกันมากขึ้นต้องปรับขนาดใหม่และทดสอบโหลด
การ์ดโมเดลต้นฉบับ