Состав сборки
Текстовая модель для выполнения инструкций. Для поиска по документам нужен отдельный сервис индексации и поиска; этот релиз не обрабатывает изображения и аудио.
- Модель
- Qwen/Qwen2.5-32B-Instruct
- Параметры / веса
- 32.76B · — GB
- Формат весов
- BF16
- Контекст / параллельные запросы
- 8192 / 1
- Контекст в конфигурации модели
- 32768
- Расчётная память GPU
- Нужна актуализация расчёта
- RAM / диск для сборки
- ≥ 128 GB / ≥ 200 GB
- Среда запуска
- vLLM · HTTP API
- Лицензия
- Apache-2.0
Расчёт включает веса BF16, KV-кеш, рабочий резерв 2 ГБ и 15% свободной памяти GPU. RAM и диск — требования планируемой сборки GlobalAtlas, а не официальные минимумы разработчика модели. Тип диска, драйверы и среду подтверждаем перед установкой. Контекст 8192 токена включает вход и ответ; для большего контекста или числа параллельных запросов нужен новый расчёт и нагрузочный тест.
Карточка разработчика модели