Կոնֆիգուրացիա
Հրահանգներով կարգավորված տեքստային մոդել։ Փաստաթղթերի որոնման համար անհրաժեշտ է առանձին retrieval/indexing ծառայություն․ պատկերներն ու աուդիոն այս checkpoint-ը չի աջակցում։
- Մոդել
- Qwen/Qwen2.5-7B-Instruct
- Պարամետրեր / weights
- 7.62B · — GB
- Weights-ի ձևաչափ
- BF16
- Կոնտեքստ / համաժամանակություն
- 8192 / 1
- Կոնտեքստի ստուգման սահման
- 32768
- GPU հիշողության գնահատում
- Requires an updated assessment
- Պլանավորված RAM / disk
- ≥ 32 GB / ≥ 100 GB
- Սպասարկման runtime
- vLLM · HTTP API
- Լիցենզիա
- Apache-2.0
Գնահատումը ներառում է BF16 weights, KV cache, 2 GB workspace և 15% GPU ազատություն։ RAM-ը և disk-ը GlobalAtlas պլանավորման պահանջներ են, ոչ թե մշակողի պաշտոնական նվազագույնները։ Disk-ի տեսակը, driver-ները և runtime-ը հաստատվում են տեղադրումից առաջ։ 8192-token սպասարկման բյուջեն ներառում է մուտք և ելք․ ավելի երկար կոնտեքստը կամ ավելի շատ միաժամանակյա հարցումները պահանջում են չափի փոփոխում և բեռնվածության փորձարկում։
Մոդելի սկզբնական քարտը