Konfigurācija
Instrukcijām pielāgots teksta modelis. Dokumentu meklēšanai nepieciešams atsevišķs izgūšanas/indeksēšanas pakalpojums; attēli un audio ar šo pārbaudes punktu netiek atbalstīti.
- Modelis
- Qwen/Qwen2.5-14B-Instruct
- Parametri / svari
- 14.77B · — GB
- Svaru formāts
- BF16
- Konteksts / vienlaicīgums
- 8192 / 1
- Pārbaudes punkta konteksta limits
- 32768
- Aprēķinātā GPU atmiņa
- Requires an updated assessment
- Plānots RAM / disks
- ≥ 64 GB / ≥ 150 GB
- Servēšanas izpildlaiks
- vLLM · HTTP API
- Licence
- Apache-2.0
Aplēse ietver BF16 svarus, KV kešatmiņu, 2 GB darba zonu un 15% GPU rezervi. RAM un disks ir GlobalAtlas plānošanas prasības, nevis izstrādātāja oficiālie minimumi. Diska veids, draiveri un izpildlaiks tiek apstiprināti pirms instalēšanas. 8192 tokenu servēšanas budžets ietver ievadi un izvadi; garāks konteksts vai vairāk vienlaicīgu pieprasījumu prasa pielāgošanu un slodzes testu.
Sākotnējā modeļa karte