ಸಂರಚನೆ
v3 tokenizer ಹೊಂದಿರುವ instruction-tuned ಪಠ್ಯ ಮಾದರಿ. Function calling ಗೆ ಹೊಂದಾಣಿಕೆಯ chat template ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್-ಬದಿ tool execution ಅಗತ್ಯವಿದೆ.
- ಮಾದರಿ
- mistralai/Mistral-7B-Instruct-v0.3
- ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು / weights
- 7.25B · — GB
- ವೆಯ್ಟ್ ಸ್ವರೂಪ
- BF16
- ಸಂದರ್ಭ / ಸಮಕಾಲಿಕತೆ
- 8192 / 1
- ಚೆಕ್‌ಪಾಯಿಂಟ್ ಸಂದರ್ಭ ಮಿತಿ
- 32768
- ಅಂದಾಜಿಸಿದ GPU ಮೆಮೊರಿ
- Requires an updated assessment
- ಯೋಜಿತ RAM / disk
- ≥ 32 GB / ≥ 100 GB
- ಸರ್ವಿಂಗ್ runtime
- vLLM · HTTP API
- ಪರವಾನಗಿ
- Apache-2.0
ಅಂದಾಜಿನಲ್ಲಿ BF16 weights, KV cache, 2 GB workspace ಮತ್ತು 15% GPU headroom ಸೇರಿವೆ. RAM ಮತ್ತು disk GlobalAtlas ಯೋಜನಾ ಅಗತ್ಯಗಳು, ಡೆವಲಪರ್‌ನ ಅಧಿಕೃತ ಕನಿಷ್ಠಗಳು ಅಲ್ಲ. disk ಪ್ರಕಾರ, drivers ಮತ್ತು runtime ಇನ್‌ಸ್ಟಾಲೇಶನ್ ಮೊದಲು ದೃಢೀಕರಿಸಲಾಗುತ್ತದೆ. 8192-ಟೋಕನ್ ಸರ್ವಿಂಗ್ ಬಜೆಟ್‌ನಲ್ಲಿ ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಸೇರಿವೆ; ದೀರ್ಘ context ಅಥವಾ ಹೆಚ್ಚಿನ ಸಮಕಾಲಿಕ ವಿನಂತಿಗಳಿಗೆ resizing ಮತ್ತು load test ಅಗತ್ಯ.
ಮೂಲ ಮಾದರಿ ಕಾರ್ಡ್