ဖွဲ့စည်းမှု
Instruction-tuned text model။ Document search အတွက် သီးခြား retrieval/indexing service လိုအပ်သည်; ဤ checkpoint တွင် images နှင့် audio ကို မပံ့ပိုးပါ။
- မော်ဒယ်
- Qwen/Qwen2.5-32B-Instruct
- Parameters / weights
- 32.76B · — GB
- Weight format
- BF16
- Context / concurrency
- 8192 / 1
- Checkpoint context limit
- 32768
- ခန့်မှန်းထားသော GPU memory
- Requires an updated assessment
- စီစဉ်ထားသော RAM / disk
- ≥ 128 GB / ≥ 200 GB
- Serving runtime
- vLLM · HTTP API
- လိုင်စင်
- Apache-2.0
ခန့်မှန်းချက်တွင် BF16 weights, KV cache, 2 GB workspace နှင့် 15% GPU headroom ပါဝင်သည်။ RAM နှင့် disk သည် GlobalAtlas စီစဉ်မှုလိုအပ်ချက်များဖြစ်ပြီး developer ၏ တရားဝင် အနည်းဆုံးမဟုတ်ပါ။ တပ်ဆင်မီ disk အမျိုးအစား, drivers နှင့် runtime ကို အတည်ပြုပါမည်။ 8192-token serving budget တွင် input နှင့် output ပါဝင်သည်; context ပိုရှည်ခြင်း သို့မဟုတ် တပြိုင်နက်တည်း တောင်းဆိုမှုများ ပိုများခြင်းသည် အရွယ်အစားပြန်ချိန်ညှိခြင်းနှင့် load test လိုအပ်သည်။
မူလ model card