پیکربندی
مدل متنی تنظیم‌شده برای دستورالعمل. جست‌وجوی اسناد به یک سرویس بازیابی/ایندکس‌سازی جداگانه نیاز دارد؛ تصاویر و صوت توسط این checkpoint پشتیبانی نمی‌شوند.
- مدل
- Qwen/Qwen2.5-32B-Instruct
- پارامترها / وزن‌ها
- 32.76B · — GB
- قالب وزن
- BF16
- کانتکست / هم‌زمانی
- 8192 / 1
- حدود کانتکست Checkpoint
- 32768
- حافظه تخمینی GPU
- Requires an updated assessment
- RAM / دیسک برنامه‌ریزی‌شده
- ≥ 128 GB / ≥ 200 GB
- زمان اجرای سرویس‌دهی
- vLLM · HTTP API
- مجوز
- Apache-2.0
برآورد شامل وزن‌های BF16، کش KV، فضای کاری 2 گیگابایتی و حاشیه امن 15% GPU است. RAM و دیسک از الزامات برنامه‌ریزی GlobalAtlas هستند، نه حداقل‌های رسمی توسعه‌دهنده. نوع دیسک، درایورها و زمان اجرا پیش از نصب تأیید می‌شوند. بودجه سرویس‌دهی 8192 توکنی شامل ورودی و خروجی است؛ کانتکست طولانی‌تر یا درخواست‌های هم‌زمان بیشتر به تغییر اندازه و آزمون بار نیاز دارد.
کارت مدل اصلی