Konfigūracija
Instrukcijomis suderintas tekstinis modelis. Dokumentų paieškai reikia atskiros paieškos / indeksavimo paslaugos; šis kontrolinis taškas nepalaiko vaizdų ir garso.
- Modelis
- Qwen/Qwen2.5-32B-Instruct
- Parametrai / svoriai
- 32.76B · — GB
- Svorių formatas
- BF16
- Kontekstas / lygiagretumas
- 8192 / 1
- Konteksto ribos kontrolinis taškas
- 32768
- Įvertinta GPU atmintis
- Requires an updated assessment
- Planuojama RAM / diskas
- ≥ 128 GB / ≥ 200 GB
- Aptarnavimo vykdymo aplinka
- vLLM · HTTP API
- Licencija
- Apache-2.0
Sąmata apima BF16 svorius, KV talpyklą, 2 GB darbo sritį ir 15% GPU rezervą. RAM ir diskas yra GlobalAtlas planavimo reikalavimai, o ne oficialios kūrėjo minimalios reikšmės. Prieš diegimą patvirtinamas disko tipas, tvarkyklės ir vykdymo aplinka. 8192 žetonų aptarnavimo biudžetas apima įvestį ir išvestį; ilgesniam kontekstui ar didesniam vienu metu vykstančių užklausų skaičiui reikia keisti dydį ir atlikti apkrovos testą.
Originali modelio kortelė