Mistral-7B-Instruct-v0.3

Mipangilio

Modeli ya maandishi iliyofinyangwa kwa maelekezo na tokeniza ya v3. Function calling inahitaji kiolezo cha chat kinachoendana na utekelezaji wa zana upande wa programu.

Muundo wa mfano

mistralai/Mistral-7B-Instruct-v0.3

Vigezo / uzito

7.25B · — GB

Muundo wa uzito

BF16

Muktadha / ulinganifu wa wakati mmoja

8192 / 1

Kikomo cha muktadha wa checkpoint

32768

Kumbukumbu iliyokadiriwa ya GPU

Requires an updated assessment

RAM / diski iliyopangwa

≥ 32 GB / ≥ 100 GB

Muda wa utekelezaji wa kuhudumia

vLLM · HTTP API

Leseni

Apache-2.0

Kadirio linajumuisha uzito wa BF16, KV cache, eneo la kazi la GB 2 na nafasi ya ziada ya 15% GPU. RAM na diski ni mahitaji ya mipango ya GlobalAtlas, si viwango vya chini rasmi vya msanidi. Aina ya diski, viendeshi na muda wa utekelezaji huthibitishwa kabla ya usakinishaji. Bajeti ya kuhudumia ya tokeni 8192 inajumuisha ingizo na tokeo; muktadha mrefu zaidi au maombi mengi ya wakati mmoja yanahitaji ukubwa upya na jaribio la mzigo.

Chagua miundombinu yako

Chagua maunzi, kisha thibitisha upatikanaji na usakinishaji wa modeli na mtaalamu. Agizo la seva pekee halisakinishi modeli.

Tutachagua pamoja nawe usanidi unaoendana kwa modeli hii.