Тохиргоо
Instruction-tuned текст загвар. Баримт бичиг хайхад тусдаа retrieval/indexing үйлчилгээ хэрэгтэй; энэ checkpoint-д зураг болон аудио дэмжихгүй.
- Загвар
- Qwen/Qwen2.5-14B-Instruct
- Параметр / weights
- 14.77B · — GB
- Weights-ийн формат
- BF16
- Контекст / зэрэгцээ ажиллагаа
- 8192 / 1
- Контекстийн checkpoint хязгаар
- 32768
- Тооцоолсон GPU санах ой
- Requires an updated assessment
- Төлөвлөсөн RAM / диск
- ≥ 64 GB / ≥ 150 GB
- Serving runtime
- vLLM · HTTP API
- Лиценз
- Apache-2.0
Тооцоонд BF16 weights, KV cache, 2 GB workspace, 15% GPU нөөц багтсан. RAM болон диск нь хөгжүүлэгчийн албан ёсны доод хэмжээ биш, GlobalAtlas төлөвлөлтийн шаардлага. Дискний төрөл, драйвер, runtime-ыг суурилуулалтын өмнө баталгаажуулна. 8192-token serving төсөвт оролт ба гаралт хоёулаа багтана; урт контекст эсвэл олон зэрэгцээ хүсэлт нь хэмжээг өөрчлөх, ачааллын тест хийх шаардлагатай.
Эх загварын карт