Կոնֆիգուրացիա
Հրահանգներով կարգավորված տեքստային մոդել՝ v3 tokenizer-ով։ Function calling-ը պահանջում է համատեղելի chat template և գործիքների կատարում հավելվածի կողմից։
- Մոդել
- mistralai/Mistral-7B-Instruct-v0.3
- Պարամետրեր / weights
- 7.25B · — GB
- Weights-ի ձևաչափ
- BF16
- Կոնտեքստ / համաժամանակություն
- 8192 / 1
- Կոնտեքստի ստուգման սահման
- 32768
- GPU հիշողության գնահատում
- Requires an updated assessment
- Պլանավորված RAM / disk
- ≥ 32 GB / ≥ 100 GB
- Սպասարկման runtime
- vLLM · HTTP API
- Լիցենզիա
- Apache-2.0
Գնահատումը ներառում է BF16 weights, KV cache, 2 GB workspace և 15% GPU ազատություն։ RAM-ը և disk-ը GlobalAtlas պլանավորման պահանջներ են, ոչ թե մշակողի պաշտոնական նվազագույնները։ Disk-ի տեսակը, driver-ները և runtime-ը հաստատվում են տեղադրումից առաջ։ 8192-token սպասարկման բյուջեն ներառում է մուտք և ելք․ ավելի երկար կոնտեքստը կամ ավելի շատ միաժամանակյա հարցումները պահանջում են չափի փոփոխում և բեռնվածության փորձարկում։
Մոդելի սկզբնական քարտը