კონფიგურაცია
ცალკე DeepSeek reasoning model, გამოყვანილი DeepSeek-R1 output-ებიდან Qwen2.5-32B base-ზე. ეს არ არის სრული 671B DeepSeek-R1 model და არც ორი model-ის bundle.
- მოდელი
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- პარამეტრები / weights
- 32.76B · — GB
- weights-ის ფორმატი
- BF16
- კონტექსტი / კონკურენტულობა
- 8192 / 1
- ჩექპოინტის კონტექსტის ლიმიტი
- 131072
- GPU მეხსიერების შეფასება
- Requires an updated assessment
- დაგეგმილი RAM / disk
- ≥ 128 GB / ≥ 200 GB
- სერვინგის runtime
- vLLM · HTTP API
- ლიცენზია
- MIT; base model Apache-2.0
შეფასება მოიცავს BF16 weights-ს, KV cache-ს, 2 GB სამუშაო სივრცეს და 15% GPU headroom-ს. RAM და disk არის GlobalAtlas დაგეგმვის მოთხოვნები და არა დეველოპერის ოფიციალური მინიმუმები. disk ტიპი, დრაივერები და runtime დადასტურდება ინსტალაციამდე. 8192-token სერვინგის ბიუჯეტი მოიცავს input-სა და output-ს; უფრო გრძელი კონტექსტი ან მეტი ერთდროული მოთხოვნა საჭიროებს ზომის შეცვლას და დატვირთვის ტესტს.
ორიგინალი model card