কনফিগারেশন
DeepSeek-R1 আউটপুট ব্যবহার করে Qwen2.5-32B-ভিত্তির ওপর distilled একটি পৃথক DeepSeek reasoning model। এটি পূর্ণ 671B DeepSeek-R1 model বা দুইটি মডেলের bundle নয়।
- মডেল
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- প্যারামিটার / weights
- 32.76B · — GB
- Weight format
- BF16
- Context / concurrency
- 8192 / 1
- Checkpoint context limit
- 131072
- আনুমানিক GPU memory
- Requires an updated assessment
- পরিকল্পিত RAM / disk
- ≥ 128 GB / ≥ 200 GB
- Serving runtime
- vLLM · HTTP API
- লাইসেন্স
- MIT; base model Apache-2.0
আনুমানিক হিসাবে BF16 weights, KV cache, 2 GB workspace এবং 15% GPU headroom অন্তর্ভুক্ত। RAM এবং disk হলো GlobalAtlas পরিকল্পনার প্রয়োজনীয়তা, ডেভেলপারের আনুষ্ঠানিক ন্যূনতম নয়। Disk type, driver এবং runtime ইনস্টলেশনের আগে নিশ্চিত করা হয়। 8192-token serving budget-এ input ও output উভয়ই অন্তর্ভুক্ত; দীর্ঘতর context বা আরও সমকালীন request-এর জন্য resizing এবং load test প্রয়োজন।
মূল model card