ಸಂರಚನೆ
Instruction-tuned ಪಠ್ಯ ಮಾದರಿ. ದಸ್ತಾವೇಜು ಹುಡುಕಾಟಕ್ಕೆ ಪ್ರತ್ಯೇಕ retrieval/indexing ಸೇವೆ ಅಗತ್ಯ; ಚಿತ್ರಗಳು ಮತ್ತು ಆಡಿಯೋ ಈ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ನಲ್ಲಿ ಬೆಂಬಲಿಸಲ್ಪಟ್ಟಿಲ್ಲ.
- ಮಾದರಿ
- Qwen/Qwen2.5-32B-Instruct
- ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು / weights
- 32.76B · — GB
- ವೆಯ್ಟ್ ಸ್ವರೂಪ
- BF16
- ಸಂದರ್ಭ / ಸಮಕಾಲಿಕತೆ
- 8192 / 1
- ಚೆಕ್‌ಪಾಯಿಂಟ್ ಸಂದರ್ಭ ಮಿತಿ
- 32768
- ಅಂದಾಜಿಸಿದ GPU ಮೆಮೊರಿ
- Requires an updated assessment
- ಯೋಜಿತ RAM / disk
- ≥ 128 GB / ≥ 200 GB
- ಸರ್ವಿಂಗ್ runtime
- vLLM · HTTP API
- ಪರವಾನಗಿ
- Apache-2.0
ಅಂದಾಜಿನಲ್ಲಿ BF16 weights, KV cache, 2 GB workspace ಮತ್ತು 15% GPU headroom ಸೇರಿವೆ. RAM ಮತ್ತು disk GlobalAtlas ಯೋಜನಾ ಅಗತ್ಯಗಳು, ಡೆವಲಪರ್‌ನ ಅಧಿಕೃತ ಕನಿಷ್ಠಗಳು ಅಲ್ಲ. disk ಪ್ರಕಾರ, drivers ಮತ್ತು runtime ಇನ್‌ಸ್ಟಾಲೇಶನ್ ಮೊದಲು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ. 8192-ಟೋಕನ್ ಸರ್ವಿಂಗ್ ಬಜೆಟ್‌ನಲ್ಲಿ ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಸೇರಿವೆ; ದೀರ್ಘ context ಅಥವಾ ಹೆಚ್ಚಿನ ಸಮಕಾಲಿಕ ವಿನಂತಿಗಳಿಗೆ resizing ಮತ್ತು load test ಅಗತ್ಯ.
ಮೂಲ ಮಾದರಿ ಕಾರ್ಡ್