Konfiguratsioon
Juhiste järgi häälestatud tekstimudel v3 tokenizeriga. Funktsioonikutse vajab ühilduvat vestlusmalli ja tööriistade käivitamist rakenduse poolel.
- Mudel
- mistralai/Mistral-7B-Instruct-v0.3
- Parameetrid / kaalud
- 7.25B · — GB
- Kaaluvorming
- BF16
- Kontekst / samaaegsus
- 8192 / 1
- Kontrollpunkti konteksti limiit
- 32768
- Hinnanguline GPU mälu
- Requires an updated assessment
- Planeeritud RAM / ketas
- ≥ 32 GB / ≥ 100 GB
- Teeninduse tööaeg
- vLLM · HTTP API
- Litsents
- Apache-2.0
Hinnang sisaldab BF16 kaale, KV-vahemälu, 2 GB tööruumi ja 15% GPU varuruumi. RAM ja ketas on GlobalAtlas planeerimisnõuded, mitte arendaja ametlik miinimum. Kettatüüp, draiverid ja tööaeg kinnitatakse enne paigaldust. 8192-tokeniline teeninduseelarve hõlmab sisendit ja väljundit; pikem kontekst või suurem samaaegsete päringute arv nõuab suurendamist ja koormustesti.
Algne mudelikart