Կոնֆիգուրացիա
Առանձին DeepSeek reasoning model՝ distilled DeepSeek-R1 արդյունքներով, հիմքում՝ Qwen2.5-14B։ Սա ոչ թե ամբողջական 671B DeepSeek-R1 model-ն է, ոչ էլ երկու մոդելներից բաղկացած փաթեթ։
- Մոդել
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- Պարամետրեր / weights
- 14.77B · — GB
- Weights-ի ձևաչափ
- BF16
- Կոնտեքստ / համաժամանակություն
- 8192 / 1
- Կոնտեքստի ստուգման սահման
- 131072
- GPU հիշողության գնահատում
- Requires an updated assessment
- Պլանավորված RAM / disk
- ≥ 64 GB / ≥ 150 GB
- Սպասարկման runtime
- vLLM · HTTP API
- Լիցենզիա
- MIT; հիմքային model Apache-2.0
Գնահատումը ներառում է BF16 weights, KV cache, 2 GB workspace և 15% GPU ազատություն։ RAM-ը և disk-ը GlobalAtlas պլանավորման պահանջներ են, ոչ թե մշակողի պաշտոնական նվազագույնները։ Disk-ի տեսակը, driver-ները և runtime-ը հաստատվում են տեղադրումից առաջ։ 8192-token սպասարկման բյուջեն ներառում է մուտք և ելք․ ավելի երկար կոնտեքստը կամ ավելի շատ միաժամանակյա հարցումները պահանջում են չափի փոփոխում և բեռնվածության փորձարկում։
Մոդելի սկզբնական քարտը