GLOBALATLAS AI · زیرساخت AI
زیرساخت AI
تغییرات آموزش، مدل را تغییر می‌دهد؛ استنتاج آن را اجرا می‌کند. سرویس‌دهی مدل، مجموعه داده‌ها و APIهای برنامه نیازهای منابع جداگانه دارند.
انتخاب مرحله‌ای از چرخه عمر هوش مصنوعی
آموزش و سازگاری
ارائه یک مدل
میزبانی LLM
یک سرویس مدل، نیازمند وزن‌ها در حافظه، بافرهای زمان اجرا، کش KV و نقطه پایانی برنامه است.
بررسی کنید →استنتاج AI
استنتاج یک مدل آموزش‌دیده را اجرا می‌کند. اندازه ورودی، دسته‌بندی و طول زمینه، حافظه کاری و وزن‌های مدل را تعیین می‌کنند.
بررسی کنید →زیرساخت برای DeepSeek
DeepSeek-R1 و مدل‌های تقطیع شده آن متفاوت هستند. نسخه‌های تقطیع شده شامل 1.5B تا 70B پارامتر هستند؛ مدل کامل نیازمند اندازه‌گیری جداگانه است.
بررسی کنید →زیرساخت برای Llama
Llama خانواده‌ای از مدل‌ها است. Llama 3.1 8B نمونه‌ای از مدل با 8 میلیارد پارامتر است، نه وعده ظرفیت برای هر نسخه Llama.
بررسی کنید →زیرساخت برای Mistral
Mistral 7B و نسخه‌های دیگر Mistral در اندازه و معماری متفاوت هستند. قبل از اندازه‌گیری سخت‌افزار، کارت مدل خاص را انتخاب کنید.
بررسی کنید →زیرساخت برای Qwen
Qwen شامل خانواده‌های مدل متن، کد و چندرسانه‌ای است. با نسخه دقیق مدل، زمان اجرا پشتیبانی شده، دقت و بودجه زمینه شروع کنید؛ این انتخاب‌ها نیازهای زیرساخت را تعیین می‌کنند.
بررسی کنید →زیرساخت برای Gemma
Gemma چندین اندازه و نسخه خاص وظیفه دارد. کارت مدل دقیق را انتخاب کنید، شرایط استفاده مربوطه را بپذیرید و پشتیبانی زمان اجرا را قبل از برنامه‌ریزی سرویس خود میزبانی شده بررسی کنید.
بررسی کنید →زیرساخت برای Stable Diffusion
Stable Diffusion برای بارهای کاری تولید تصویر به‌کار می‌رود. SDXL Base، یک refiner اختیاری و اجزای اضافی جریان کار، نیازهای جداگانه‌ای برای حافظه و ذخیره‌سازی دارند. وضوح تصویر و اندازه batch بر کل pipeline تأثیر می‌گذارند.
بررسی کنید →زیرساخت برای FLUX
نسخه‌های FLUX در معماری، کد استنتاج و مجوز مدل متفاوت هستند. نسخه دقیق و گردش کار پشتیبانی شده را انتخاب کنید، سپس حداکثر حافظه در وضوح و دقت تصویر مورد نظر را اندازه‌گیری کنید.
بررسی کنید →زیرساخت برای Whisper
Whisper خانواده مدل‌های تشخیص گفتار منبع باز است. رونویسی خودمیزبان از وزن‌های دانلود شده مدل و زمان اجرای استنتاج محلی استفاده می‌کند؛ این سرویس جدا از اشتراک API گفتار میزبانی شده است.
بررسی کنید →پردازش محتوا
زیرساخت جاسازی
خط لوله‌های جاسازی، ورودی را به وکتورها رمزگذاری می‌کنند و معمولاً اجرای مدل را با یک شاخص یا پایگاه داده جداگانه ترکیب می‌کنند.
بررسی کنید →زیرساخت تولید تصویر
حافظه تولید تصویر بسته به مدل، وضوح، اندازه دسته و خط لوله استنتاج متفاوت است.
بررسی کنید →زیرساخت Speech AI
نسخ‌برداری و تولید گفتار نیازمند تأخیر، دسته‌بندی و نیازهای پردازش صوت متفاوت هستند.
بررسی کنید →