கட்டமைப்பு
வழிமுறை-சீரமைக்கப்பட்ட உரை மாதிரி. ஆவணத் தேடலுக்கு தனி retrieval/indexing சேவை தேவை; படங்களும் ஒலியும் இந்த checkpoint மூலம் ஆதரிக்கப்படவில்லை.
- மாதிரி
- Qwen/Qwen2.5-32B-Instruct
- அளவுருக்கள் / எடைகள்
- 32.76B · — GB
- எடை வடிவம்
- BF16
- Context / ஒரேநேர செயலாக்கம்
- 8192 / 1
- Checkpoint context வரம்பு
- 32768
- மதிப்பிடப்பட்ட GPU நினைவகம்
- Requires an updated assessment
- திட்டமிடப்பட்ட RAM / disk
- ≥ 128 GB / ≥ 200 GB
- சேவை இயக்கநேரம்
- vLLM · HTTP API
- உரிமம்
- Apache-2.0
மதிப்பீட்டில் BF16 எடைகள், KV cache, 2 GB workspace மற்றும் 15% GPU headroom அடங்கும். RAM மற்றும் disk என்பது GlobalAtlas திட்டமிடல் தேவைகள்; டெவலப்பரின் அதிகாரப்பூர்வ குறைந்தபட்சங்கள் அல்ல. நிறுவுவதற்கு முன் disk வகை, இயக்கிகள் மற்றும் runtime உறுதிப்படுத்தப்படும். 8192-டோக்கன் சேவை பட்ஜெட்டில் உள்ளீடும் வெளியீடும் அடங்கும்; நீண்ட context அல்லது அதிக ஒரேநேர கோரிக்கைகள் அளவு மாற்றத்தையும் load test-ஐயும் தேவைப்படுத்தும்.
மூல மாதிரி அட்டை