ኮንፊጉሬሽን
በመመሪያ የተሻሻለ የጽሑፍ ሞዴል። የሰነድ ፍለጋ የተለየ የመልሶ ማግኛ/መመዝገቢያ አገልግሎት ይፈልጋል፤ ምስሎችና ድምጽ በዚህ checkpoint አይደገፉም።
- ሞዴል
- Qwen/Qwen2.5-7B-Instruct
- ፓራሜትሮች / ክብደቶች
- 7.62B · — GB
- የክብደት ቅርጽ
- BF16
- ኮንቴክስት / ተመሳሳይ ስራ ብዛት
- 8192 / 1
- የኮንቴክስት ገደብ
- 32768
- የተገመተው GPU ማህደረ ትውስታ
- Requires an updated assessment
- የታቀደው RAM / ዲስክ
- ≥ 32 GB / ≥ 100 GB
- የማገልገያ ስራ ጊዜ
- vLLM · HTTP API
- ፈቃድ
- Apache-2.0
ግምቱ የBF16 ክብደቶች፣ KV cache፣ 2 GB የስራ ቦታ እና 15% GPU የተጨማሪ አቅምን ያካትታል። RAM እና ዲስክ GlobalAtlas የእቅድ መስፈርቶች ናቸው፣ የገንቢው የሚፈለጉ ዝቅተኛ መጠኖች አይደሉም። የዲስክ አይነት፣ አሽከርካሪዎች እና የስራ ጊዜ ከመጫን በፊት ይረጋገጣሉ። የ8192-ቶከን የማገልገያ በጀት ግቤትና ውፅዓትን ያካትታል፤ ረዘም ያለ ኮንቴክስት ወይም ብዙ ተመሳሳይ ጥያቄዎች መጠን መቀየር እና የጭነት ፈተና ይፈልጋል።
ዋና የሞዴል ካርድ