ಸಂರಚನೆ
Qwen2.5-32B ಆಧಾರದ ಮೇಲೆ DeepSeek-R1 ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಬಳಸಿ ಡಿಸ್ಟಿಲ್ ಮಾಡಿದ ಪ್ರತ್ಯೇಕ DeepSeek reasoning ಮಾದರಿ. ಇದು ಸಂಪೂರ್ಣ 671B DeepSeek-R1 ಮಾದರಿ ಅಲ್ಲ, ಅಥವಾ ಎರಡು ಮಾದರಿಗಳ ಪ್ಯಾಕೇಜ್ ಅಲ್ಲ.
- ಮಾದರಿ
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು / weights
- 32.76B · — GB
- ವೆಯ್ಟ್ ಸ್ವರೂಪ
- BF16
- ಸಂದರ್ಭ / ಸಮಕಾಲಿಕತೆ
- 8192 / 1
- ಚೆಕ್‌ಪಾಯಿಂಟ್ ಸಂದರ್ಭ ಮಿತಿ
- 131072
- ಅಂದಾಜಿಸಿದ GPU ಮೆಮೊರಿ
- Requires an updated assessment
- ಯೋಜಿತ RAM / disk
- ≥ 128 GB / ≥ 200 GB
- ಸರ್ವಿಂಗ್ runtime
- vLLM · HTTP API
- ಪರವಾನಗಿ
- MIT; base model Apache-2.0
ಅಂದಾಜಿನಲ್ಲಿ BF16 weights, KV cache, 2 GB workspace ಮತ್ತು 15% GPU headroom ಸೇರಿವೆ. RAM ಮತ್ತು disk GlobalAtlas ಯೋಜನಾ ಅಗತ್ಯಗಳು, ಡೆವಲಪರ್‌ನ ಅಧಿಕೃತ ಕನಿಷ್ಠಗಳು ಅಲ್ಲ. disk ಪ್ರಕಾರ, drivers ಮತ್ತು runtime ಇನ್‌ಸ್ಟಾಲೇಶನ್ ಮೊದಲು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ. 8192-ಟೋಕನ್ ಸರ್ವಿಂಗ್ ಬಜೆಟ್‌ನಲ್ಲಿ ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಸೇರಿವೆ; ದೀರ್ಘ context ಅಥವಾ ಹೆಚ್ಚಿನ ಸಮಕಾಲಿಕ ವಿನಂತಿಗಳಿಗೆ resizing ಮತ್ತು load test ಅಗತ್ಯ.
ಮೂಲ ಮಾದರಿ ಕಾರ್ಡ್