কনফিগারেশন
Instruction-tuned text model। Document search-এর জন্য পৃথক retrieval/indexing service প্রয়োজন; images ও audio এই checkpoint-এ সমর্থিত নয়।
- মডেল
- Qwen/Qwen2.5-7B-Instruct
- প্যারামিটার / weights
- 7.62B · — GB
- Weight format
- BF16
- Context / concurrency
- 8192 / 1
- Checkpoint context limit
- 32768
- আনুমানিক GPU memory
- Requires an updated assessment
- পরিকল্পিত RAM / disk
- ≥ 32 GB / ≥ 100 GB
- Serving runtime
- vLLM · HTTP API
- লাইসেন্স
- Apache-2.0
আনুমানিক হিসাবে BF16 weights, KV cache, 2 GB workspace এবং 15% GPU headroom অন্তর্ভুক্ত। RAM এবং disk হলো GlobalAtlas পরিকল্পনার প্রয়োজনীয়তা, ডেভেলপারের আনুষ্ঠানিক ন্যূনতম নয়। Disk type, driver এবং runtime ইনস্টলেশনের আগে নিশ্চিত করা হয়। 8192-token serving budget-এ input ও output উভয়ই অন্তর্ভুক্ত; দীর্ঘতর context বা আরও সমকালীন request-এর জন্য resizing এবং load test প্রয়োজন।
মূল model card