కాన్ఫిగరేషన్
ఇన్‌స్ట్రక్షన్-ట్యూన్డ్ టెక్స్ట్ మోడల్. డాక్యుమెంట్ సెర్చ్‌కు ప్రత్యేక రిట్రీవల్/ఇండెక్సింగ్ సేవ అవసరం; ఈ చెక్‌పాయింట్ చిత్రాలు మరియు ఆడియోను మద్దతు ఇవ్వదు.
- మోడల్
- Qwen/Qwen2.5-32B-Instruct
- పారామీటర్లు / వెయిట్లు
- 32.76B · — GB
- వెయిట్ ఫార్మాట్
- BF16
- కాంటెక్స్ట్ / సమకాలీనత
- 8192 / 1
- చెక్‌పాయింట్ కాంటెక్స్ట్ పరిమితి
- 32768
- అంచనా GPU మెమరీ
- Requires an updated assessment
- ప్రణాళికలో ఉన్న RAM / డిస్క్
- ≥ 128 GB / ≥ 200 GB
- సర్వింగ్ రన్‌టైమ్
- vLLM · HTTP API
- లైసెన్స్
- Apache-2.0
అంచనాలో BF16 వెయిట్లు, KV కాష్, 2 GB వర్క్‌స్పేస్ మరియు 15% GPU హెడ్‌రూమ్ ఉంటాయి. RAM మరియు డిస్క్ GlobalAtlas ప్రణాళిక అవసరాలు మాత్రమే, డెవలపర్ అధికారిక కనిష్ఠాలు కావు. డిస్క్ రకం, డ్రైవర్లు మరియు రన్‌టైమ్ ఇన్‌స్టాలేషన్‌కు ముందు ధృవీకరించబడతాయి. 8192-టోకెన్ సర్వింగ్ బడ్జెట్‌లో ఇన్‌పుట్ మరియు అవుట్‌పుట్ ఉన్నాయి; ఎక్కువ కాంటెక్స్ట్ లేదా మరింత సమకాలీన అభ్యర్థనలకు పరిమాణం పెంపు మరియు లోడ్ టెస్ట్ అవసరం.
అసలు మోడల్ కార్డ్