Konfigurācija
Instrukcijām pielāgots teksta modelis ar v3 tokenizatoru. Funkciju izsaukšanai nepieciešama saderīga tērzēšanas veidne un rīku izpilde lietotnes pusē.
- Modelis
- mistralai/Mistral-7B-Instruct-v0.3
- Parametri / svari
- 7.25B · — GB
- Svaru formāts
- BF16
- Konteksts / vienlaicīgums
- 8192 / 1
- Pārbaudes punkta konteksta limits
- 32768
- Aprēķinātā GPU atmiņa
- Requires an updated assessment
- Plānots RAM / disks
- ≥ 32 GB / ≥ 100 GB
- Servēšanas izpildlaiks
- vLLM · HTTP API
- Licence
- Apache-2.0
Aplēse ietver BF16 svarus, KV kešatmiņu, 2 GB darba zonu un 15% GPU rezervi. RAM un disks ir GlobalAtlas plānošanas prasības, nevis izstrādātāja oficiālie minimumi. Diska veids, draiveri un izpildlaiks tiek apstiprināti pirms instalēšanas. 8192 tokenu servēšanas budžets ietver ievadi un izvadi; garāks konteksts vai vairāk vienlaicīgu pieprasījumu prasa pielāgošanu un slodzes testu.
Sākotnējā modeļa karte