ኮንፊጉሬሽን
በv3 tokenizer የተሻሻለ የመመሪያ ጽሑፍ ሞዴል። Function calling ተኳሃኝ የchat template እና በመተግበሪያ ወገን የመሣሪያ ማስፈጸም ይፈልጋል።
- ሞዴል
- mistralai/Mistral-7B-Instruct-v0.3
- ፓራሜትሮች / ክብደቶች
- 7.25B · — GB
- የክብደት ቅርጽ
- BF16
- ኮንቴክስት / ተመሳሳይ ስራ ብዛት
- 8192 / 1
- የኮንቴክስት ገደብ
- 32768
- የተገመተው GPU ማህደረ ትውስታ
- Requires an updated assessment
- የታቀደው RAM / ዲስክ
- ≥ 32 GB / ≥ 100 GB
- የማገልገያ ስራ ጊዜ
- vLLM · HTTP API
- ፈቃድ
- Apache-2.0
ግምቱ የBF16 ክብደቶች፣ KV cache፣ 2 GB የስራ ቦታ እና 15% GPU የተጨማሪ አቅምን ያካትታል። RAM እና ዲስክ GlobalAtlas የእቅድ መስፈርቶች ናቸው፣ የገንቢው የሚፈለጉ ዝቅተኛ መጠኖች አይደሉም። የዲስክ አይነት፣ አሽከርካሪዎች እና የስራ ጊዜ ከመጫን በፊት ይረጋገጣሉ። የ8192-ቶከን የማገልገያ በጀት ግቤትና ውፅዓትን ያካትታል፤ ረዘም ያለ ኮንቴክስት ወይም ብዙ ተመሳሳይ ጥያቄዎች መጠን መቀየር እና የጭነት ፈተና ይፈልጋል።
ዋና የሞዴል ካርድ