Cumraíocht
Múnla téacs le haghaidh treoracha, le tokenizer v3. Teastaíonn teimpléad comhrá comhoiriúnach agus rith uirlisí ar thaobh an fheidhmchláir le glao feidhme.
- Samhail
- mistralai/Mistral-7B-Instruct-v0.3
- Paraiméadair / meáchain
- 7.25B · — GB
- Formáid meáchain
- BF16
- Comhthéacs / comhfhreagrú
- 8192 / 1
- Teorainn comhthéacs Checkpoint
- 32768
- Cuimhne mheasta GPU
- Requires an updated assessment
- RAM / diosca pleanáilte
- ≥ 32 GB / ≥ 100 GB
- Am rite seirbhíse
- vLLM · HTTP API
- Ceadúnas
- Apache-2.0
Áirítear sa mheastachán meáchain BF16, taisce KV, spás oibre 2 GB agus ceannspás 15% GPU. Is riachtanais phleanála iad RAM agus diosca de GlobalAtlas, ní íosmhéideanna oifigiúla an fhorbróra. Deimhnítear cineál diosca, tiománaithe agus am rite roimh shuiteáil. Cuimsíonn an buiséad seirbhíse 8192-tóic ionchur agus aschur; teastaíonn athmhéidithe agus tástáil ualaigh le haghaidh comhthéacs níos faide nó níos mó iarratas comhuaineach.
Cárta bunaidh an mhúnla