GLOBALATLAS AI · Виділений інференс

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: самостійно розгорнута конфігурація інференсу, ваги BF16, контекст 8192 токенів, пам’ять GPU і вибір сервера.

Конфігурація

Текстова модель, налаштована для інструкцій. Пошук документів потребує окремого сервісу пошуку/індексації; зображення та аудіо цим checkpoint не підтримуються.

Модель: Qwen/Qwen2.5-32B-Instruct
Параметри / ваги: 32.76B · — GB
Формат ваг: BF16
Контекст / паралельність: 8192 / 1
Ліміт контексту checkpoint: 32768
Оцінена пам’ять GPU: Requires an updated assessment
Заплановані RAM / диск: ≥ 128 ГБ / ≥ 200 ГБ
Runtime обслуговування: vLLM · HTTP API
Ліцензія: Apache-2.0

Оцінка включає ваги BF16, KV cache, робочу область 2 ГБ і запас 15% GPU. RAM і диск є вимогами GlobalAtlas планування, а не офіційними мінімумами розробника. Тип диска, драйвери та runtime підтверджуються перед встановленням. Бюджет обслуговування 8192 токенів охоплює вхід і вихід; довший контекст або більше одночасних запитів потребують масштабування та тесту навантаження.

Оригінальна картка моделі

Оберіть вашу інфраструктуру

Оберіть обладнання, а потім підтвердьте з фахівцем доступність і встановлення моделі. Саме замовлення сервера не встановлює модель.

Ми разом із вами підберемо для цієї моделі сумісну конфігурацію.

Запросити повне налаштування

Вкажіть модель, регіон і очікуване навантаження. Наші фахівці підтвердять обладнання, встановлення, захист доступу та кінцеву ціну.

Обговорити з Atlas →

Запросити допомогу фахівця →

Надішліть ваші вимоги фахівцям GlobalAtlas для індивідуального перегляду конфігурації. Вони перевірять обладнання, сумісність і умови, а потім дадуть відповідь електронною поштою.