Konfiguracija
Текстуални модел подешен за инструкције. Претрага докумената захтева посебну услугу за преузимање/индексирање; слике и аудио нису подржани овим checkpoint-ом.
- Model
- Qwen/Qwen2.5-7B-Instruct
- Параметри / тежине
- 7.62B · — GB
- Формат тежина
- BF16
- Контекст / паралелни захтеви
- 8192 / 1
- Ограничење контекста checkpoint-а
- 32768
- Процењена меморија GPU
- Requires an updated assessment
- Планирана RAM / диск
- ≥ 32 GB / ≥ 100 GB
- Runtime за сервирање
- vLLM · HTTP API
- Лиценца
- Apache-2.0
Процена укључује тежине BF16, KV кеш, радни простор од 2 GB и 15% GPU резерве. RAM и диск су захтеви за GlobalAtlas планирање, а не званични минимуми програмера. Тип диска, драјвери и runtime потврђују се пре инсталације. Budget за сервирање од 8192 токена обухвата улаз и излаз; дужи контекст или више истовремених захтева захтевају прилагођавање величине и тест оптерећења.
Оригинална model card