การกำหนดค่า
โมเดลการให้เหตุผลแยกต่างหากของ DeepSeek ที่กลั่นจากเอาต์พุตของ DeepSeek-R1 บนฐาน Qwen2.5-32B ไม่ใช่โมเดลเต็มขนาด 671B DeepSeek-R1 หรือชุดรวมของสองโมเดล
- โมเดล
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- พารามิเตอร์ / น้ำหนัก
- 32.76B · — GB
- รูปแบบน้ำหนัก
- BF16
- บริบท / การประมวลผลพร้อมกัน
- 8192 / 1
- ขีดจำกัดบริบทของ Checkpoint
- 131072
- หน่วยความจำ GPU โดยประมาณ
- Requires an updated assessment
- RAM / ดิสก์ที่วางแผนไว้
- ≥ 128 GB / ≥ 200 GB
- รันไทม์การให้บริการ
- vLLM · HTTP API
- ใบอนุญาต
- MIT; โมเดลฐาน Apache-2.0
ประมาณการนี้รวมถึงน้ำหนัก BF16, KV cache, พื้นที่ทำงาน 2 GB และ headroom 15% GPU RAM และดิสก์เป็นข้อกำหนดการวางแผนของ GlobalAtlas ไม่ใช่ขั้นต่ำอย่างเป็นทางการของนักพัฒนา ชนิดดิสก์ ไดรเวอร์ และรันไทม์จะยืนยันก่อนติดตั้ง งบประมาณการให้บริการ 8192 โทเค็นรวมอินพุตและเอาต์พุต; บริบทที่ยาวขึ้นหรือคำขอพร้อมกันมากขึ้นต้องปรับขนาดใหม่และทดสอบโหลด
การ์ดโมเดลต้นฉบับ