GLOBALATLAS AI · โครงสร้างพื้นฐาน AI
โครงสร้างพื้นฐาน AI
การเปลี่ยนแปลงโมเดลในการฝึกอบรม; การอนุมานเป็นการรันโมเดลนั้น โมเดลเซอร์วิส, ชุดข้อมูล และ API ของแอปพลิเคชันมีความต้องการทรัพยากรแยกต่างหาก
เลือกช่วงวงจรชีวิต AI
ฝึกและปรับตัว
การฝึกอบรม AI
การฝึกอบรมเก็บ activations, gradients และสถานะ optimizer นอกเหนือจากน้ำหนักโมเดล ความสามารถในการถ่ายโอนข้อมูลของชุดข้อมูลและจุดตรวจสอบก็สำคัญ
สำรวจ →การปรับแต่งละเอียด
การปรับแต่งละเอียดปรับโมเดลที่ฝึกไว้ล่วงหน้า การปรับแต่งละเอียดเต็มรูปแบบและวิธีการที่มีประสิทธิภาพด้านพารามิเตอร์มีความต้องการหน่วยความจำแตกต่างกัน
สำรวจ →ให้บริการโมเดล
โฮสต์ LLM
บริการโมเดลต้องการน้ำหนักในหน่วยความจำ บัฟเฟอร์รันไทม์ และแคช KV
สำรวจ →การอนุมาน AI
การอนุมานดำเนินการโดยโมเดลที่ฝึกแล้ว ขนาดอินพุต การแบทช์ และความยาวบริบทกำหนดหน่วยความจำทำงานและน้ำหนักโมเดล
สำรวจ →โครงสร้างพื้นฐานสำหรับ DeepSeek
DeepSeek-R1 และโมเดลกลั่นของมันเป็นงานโหลดงานที่แตกต่างกัน รุ่นกลั่นมีพารามิเตอร์ตั้งแต่ 1.5B ถึง 70B; โมเดลเต็มต้องการการประเมินขนาดแยกต่างหาก
สำรวจ →โครงสร้างพื้นฐานสำหรับ Llama
Llama เป็นกลุ่มของโมเดล ตัวอย่างเช่น Llama 3.1 8B เป็นโมเดลที่มีพารามิเตอร์ 8 พันล้าน ไม่ใช่คำสัญญาความสามารถของแต่ละรุ่น Llama
สำรวจ →โครงสร้างพื้นฐานสำหรับ Mistral
Mistral 7B และรุ่น Mistral อื่น ๆ แตกต่างกันในขนาดและสถาปัตยกรรม เลือกโมเดลเฉพาะก่อนกำหนดขนาดฮาร์ดแวร์
สำรวจ →โครงสร้างพื้นฐานสำหรับ Qwen
Qwen รวมโมเดลข้อความ โค้ด และโมเดลมัลติโมเดิล เริ่มต้นด้วยเวอร์ชันโมเดลที่แน่นอน การรองรับการให้บริการ การแม่นยำ และงบประมาณบริบท ตัวเลือกเหล่านี้กำหนดความต้องการโครงสร้างพื้นฐาน
สำรวจ →โครงสร้างพื้นฐานสำหรับ Gemma
Gemma มีหลายขนาดและรุ่นเฉพาะงาน เลือกการ์ดโมเดลที่แน่นอน ยอมรับข้อกำหนดการใช้งานที่เกี่ยวข้อง และตรวจสอบการสนับสนุนรันไทม์ก่อนวางแผนบริการโฮสต์เอง
สำรวจ →โครงสร้างพื้นฐานสำหรับ Stable Diffusion
Stable Diffusion ให้บริการงานสร้างภาพ การตั้งค่า SDXL Base, ตัวปรับปรุงเสริม และส่วนประกอบเวิร์กโฟลว์เพิ่มเติมมีความต้องการหน่วยความจำและการจัดเก็บข้อมูลแยกต่างหาก ความละเอียดและขนาดชุดข้อมูลมีผลต่อกระบวนการทั้งหมด
สำรวจ →โครงสร้างพื้นฐานสำหรับ FLUX
การปล่อย FLUX แตกต่างกันในด้านสถาปัตยกรรม โค้ดอนุมาน และใบอนุญาตโมเดล เลือกเวอร์ชันที่แน่นอนและเวิร์กโฟลว์ที่รองรับ แล้ววัด peak memory ที่ความละเอียดและความแม่นยำของภาพที่ตั้งใจไว้
สำรวจ →โครงสร้างพื้นฐานสำหรับ Whisper
Whisper เป็นครอบครัวโมเดลรู้จำเสียงพูดแบบโอเพนซอร์ส การถอดเสียงแบบโฮสต์เองใช้เวทโมเดลดาวน์โหลดและรันไทม์อนุมานในเครื่อง; แยกต่างหากจากการสมัคร API เสียงที่โฮสต์ไว้
สำรวจ →ประมวลผลเนื้อหา
โครงสร้างพื้นฐานฝังตัว
สายการบรรจุหีบห่อโมเดลเข้ารหัสอินพุตเป็นเวกเตอร์และมักรวมการดำเนินการโมเดลกับดัชนีหรือฐานข้อมูลแยกต่างหาก
สำรวจ →โครงสร้างพื้นฐานการสร้างภาพ
หน่วยความจำการสร้างภาพขึ้นอยู่กับโมเดล ความละเอียด ขนาดแบทช์ และกระบวนการอนุมาน
สำรวจ →โครงสร้างพื้นฐาน Speech AI
การถอดเสียงและการสร้างเสียงมีความหน่วง, การแบทช์ และความต้องการประมวลผลเสียงแตกต่างกัน
สำรวจ →