Konfigūracija
Instrukcijomis suderintas tekstinis modelis su v3 tokenizeriu. Funkcijų iškvietimui reikia suderinamo pokalbio šablono ir programos pusėje vykdomų įrankių.
- Modelis
- mistralai/Mistral-7B-Instruct-v0.3
- Parametrai / svoriai
- 7.25B · — GB
- Svorių formatas
- BF16
- Kontekstas / lygiagretumas
- 8192 / 1
- Konteksto ribos kontrolinis taškas
- 32768
- Įvertinta GPU atmintis
- Requires an updated assessment
- Planuojama RAM / diskas
- ≥ 32 GB / ≥ 100 GB
- Aptarnavimo vykdymo aplinka
- vLLM · HTTP API
- Licencija
- Apache-2.0
Sąmata apima BF16 svorius, KV talpyklą, 2 GB darbo sritį ir 15% GPU rezervą. RAM ir diskas yra GlobalAtlas planavimo reikalavimai, o ne oficialios kūrėjo minimalios reikšmės. Prieš diegimą patvirtinamas disko tipas, tvarkyklės ir vykdymo aplinka. 8192 žetonų aptarnavimo biudžetas apima įvestį ir išvestį; ilgesniam kontekstui ar didesniam vienu metu vykstančių užklausų skaičiui reikia keisti dydį ir atlikti apkrovos testą.
Originali modelio kortelė