Конфигурация
Текстов модел, настроен за инструкции. Търсенето в документи изисква отделна услуга за извличане/индексиране; изображения и аудио не се поддържат от този checkpoint.
- Модел
- Qwen/Qwen2.5-32B-Instruct
- Параметри / тегла
- 32.76B · — GB
- Формат на теглата
- BF16
- Контекст / едновременност
- 8192 / 1
- Лимит на контекста за checkpoint
- 32768
- Очаквана памет GPU
- Requires an updated assessment
- Планирана RAM / диск
- ≥ 128 GB / ≥ 200 GB
- Време за работа на serving
- vLLM · HTTP API
- Лиценз
- Apache-2.0
Оценката включва теглата BF16, KV cache, 2 GB работно пространство и 15% GPU резерв. RAM и диск са изисквания за планиране GlobalAtlas, а не официалните минимуми на разработчика. Типът диск, драйверите и средата за изпълнение се потвърждават преди инсталация. Бюджетът за обслужване на 8192 токена включва вход и изход; по-дълъг контекст или повече едновременни заявки изискват преоразмеряване и load test.
Оригинална карта на модела