ኮንፊጉሬሽን
በDeepSeek-R1 ውጤቶች ላይ ተቆልሎ በQwen2.5-14B መሠረት የተዘጋጀ የተናጠል DeepSeek ምክንያታዊ ሞዴል። ይህ ሙሉው 671B DeepSeek-R1 ሞዴል ወይም የሁለት ሞዴሎች ጥቅል አይደለም።
- ሞዴል
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- ፓራሜትሮች / ክብደቶች
- 14.77B · — GB
- የክብደት ቅርጽ
- BF16
- ኮንቴክስት / ተመሳሳይ ስራ ብዛት
- 8192 / 1
- የኮንቴክስት ገደብ
- 131072
- የተገመተው GPU ማህደረ ትውስታ
- Requires an updated assessment
- የታቀደው RAM / ዲስክ
- ≥ 64 GB / ≥ 150 GB
- የማገልገያ ስራ ጊዜ
- vLLM · HTTP API
- ፈቃድ
- MIT; መሠረታዊ ሞዴል Apache-2.0
ግምቱ የBF16 ክብደቶች፣ KV cache፣ 2 GB የስራ ቦታ እና 15% GPU የተጨማሪ አቅምን ያካትታል። RAM እና ዲስክ GlobalAtlas የእቅድ መስፈርቶች ናቸው፣ የገንቢው የሚፈለጉ ዝቅተኛ መጠኖች አይደሉም። የዲስክ አይነት፣ አሽከርካሪዎች እና የስራ ጊዜ ከመጫን በፊት ይረጋገጣሉ። የ8192-ቶከን የማገልገያ በጀት ግቤትና ውፅዓትን ያካትታል፤ ረዘም ያለ ኮንቴክስት ወይም ብዙ ተመሳሳይ ጥያቄዎች መጠን መቀየር እና የጭነት ፈተና ይፈልጋል።
ዋና የሞዴል ካርድ