கட்டமைப்பு
v3 tokenizer-ஐப் பயன்படுத்தும் வழிமுறை-சீரமைக்கப்பட்ட உரை மாதிரி. Function calling-க்கு பொருந்தக்கூடிய chat template மற்றும் பயன்பாட்டு பக்கம் tool execution தேவை.
- மாதிரி
- mistralai/Mistral-7B-Instruct-v0.3
- அளவுருக்கள் / எடைகள்
- 7.25B · — GB
- எடை வடிவம்
- BF16
- Context / ஒரேநேர செயலாக்கம்
- 8192 / 1
- Checkpoint context வரம்பு
- 32768
- மதிப்பிடப்பட்ட GPU நினைவகம்
- Requires an updated assessment
- திட்டமிடப்பட்ட RAM / disk
- ≥ 32 GB / ≥ 100 GB
- சேவை இயக்கநேரம்
- vLLM · HTTP API
- உரிமம்
- Apache-2.0
மதிப்பீட்டில் BF16 எடைகள், KV cache, 2 GB workspace மற்றும் 15% GPU headroom அடங்கும். RAM மற்றும் disk என்பது GlobalAtlas திட்டமிடல் தேவைகள்; டெவலப்பரின் அதிகாரப்பூர்வ குறைந்தபட்சங்கள் அல்ல. நிறுவுவதற்கு முன் disk வகை, இயக்கிகள் மற்றும் runtime உறுதிப்படுத்தப்படும். 8192-டோக்கன் சேவை பட்ஜெட்டில் உள்ளீடும் வெளியீடும் அடங்கும்; நீண்ட context அல்லது அதிக ஒரேநேர கோரிக்கைகள் அளவு மாற்றத்தையும் load test-ஐயும் தேவைப்படுத்தும்.
மூல மாதிரி அட்டை