پیکربندی
یک مدل استدلالی مستقل DeepSeek که با استفاده از خروجی‌های DeepSeek-R1 روی یک پایه Qwen2.5-32B تقطیر شده است. این، مدل کامل 671B DeepSeek-R1 یا بسته‌ای از دو مدل نیست.
- مدل
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- پارامترها / وزن‌ها
- 32.76B · — GB
- قالب وزن
- BF16
- کانتکست / هم‌زمانی
- 8192 / 1
- حدود کانتکست Checkpoint
- 131072
- حافظه تخمینی GPU
- Requires an updated assessment
- RAM / دیسک برنامه‌ریزی‌شده
- ≥ 128 GB / ≥ 200 GB
- زمان اجرای سرویس‌دهی
- vLLM · HTTP API
- مجوز
- MIT؛ مدل پایه Apache-2.0
برآورد شامل وزن‌های BF16، کش KV، فضای کاری 2 گیگابایتی و حاشیه امن 15% GPU است. RAM و دیسک از الزامات برنامه‌ریزی GlobalAtlas هستند، نه حداقل‌های رسمی توسعه‌دهنده. نوع دیسک، درایورها و زمان اجرا پیش از نصب تأیید می‌شوند. بودجه سرویس‌دهی 8192 توکنی شامل ورودی و خروجی است؛ کانتکست طولانی‌تر یا درخواست‌های هم‌زمان بیشتر به تغییر اندازه و آزمون بار نیاز دارد.
کارت مدل اصلی