การตัดสินใจด้านสถาปัตยกรรม
เซิร์ฟเวอร์ GPU และจุดเชื่อมต่อที่จัดการต่างกัน ผลการร้องขอต้องระบุรูปแบบการดำเนินงานและหน่วยวัดการใช้งาน
GLOBALATLAS AI · การอนุมาน AI
การอนุมาน AI
การอนุมานดำเนินการโดยโมเดลที่ฝึกแล้ว ขนาดอินพุต การแบทช์ และความยาวบริบทกำหนดหน่วยความจำทำงานและน้ำหนักโมเดล
ความหน่วงเวลาหรือความสามารถในการประมวลผลเป็นกลุ่ม?
- 01
คำขอเชิงโต้ตอบ: วัดความหน่วงแฝงของการตอบสนองแรก
- 02
งานเป็นชุด: วัดผลข้อมูลเข้าเสร็จสิ้นต่อช่วงเวลาหนึ่ง
- 03
ติดตาม peak memory สำหรับความยาวอินพุตที่เลือก
ข้อกำหนดการกำหนดค่า
ตัดสินใจระหว่าง VM GPU ที่คุณดำเนินการเองและจุดสิ้นสุดที่จัดการแล้ว ปัจจุบัน Finder สตรวจสอบข้อเสนอ VM GPU ไม่ใช่ SLA การอนุมานที่จัดการ