Конфигурация
Instruction-tuned мәтіндік модель. Құжат іздеу үшін бөлек retrieval/indexing қызметі қажет; кескіндер мен аудио бұл чекпойнтта қолдау таппайды.
- Модель
- Qwen/Qwen2.5-7B-Instruct
- Параметрлер / салмақтар
- 7.62B · — GB
- Салмақ форматы
- BF16
- Контекст / concurrency
- 8192 / 1
- Контекст лимиті чекпойнты
- 32768
- Шамаланған GPU жады
- Requires an updated assessment
- Жоспарланған RAM / диск
- ≥ 32 GB / ≥ 100 GB
- Қызмет көрсету ортасы
- vLLM · HTTP API
- Лицензия
- Apache-2.0
Бағалауға BF16 салмақтары, KV cache, 2 GB жұмыс аймағы және 15% GPU қоры кіреді. RAM және диск — GlobalAtlas жоспарлау талаптары, әзірлеушінің ресми минимумдары емес. Диск түрі, драйверлер және жұмыс ортасы орнату алдында расталады. 8192-токендік қызмет көрсету бюджетіне кіріс пен шығыс кіреді; ұзағырақ контекст немесе бір уақытта көп сұрау өлшемін өзгерту мен жүктеме сынағын талап етеді.
Түпнұсқа model card