GLOBALATLAS AI · Виділений інференс

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: самостійно розгорнута конфігурація інференсу, ваги BF16, контекст 8192 токенів, пам’ять GPU і вибір сервера.

Конфігурація

Текстова модель, налаштована для інструкцій, із токенізатором v3. Виклик функцій потребує сумісного шаблону чату та виконання інструментів на боці застосунку.

Модель: mistralai/Mistral-7B-Instruct-v0.3
Параметри / ваги: 7.25B · — GB
Формат ваг: BF16
Контекст / паралельність: 8192 / 1
Ліміт контексту checkpoint: 32768
Оцінена пам’ять GPU: Requires an updated assessment
Заплановані RAM / диск: ≥ 32 ГБ / ≥ 100 ГБ
Runtime обслуговування: vLLM · HTTP API
Ліцензія: Apache-2.0

Оцінка включає ваги BF16, KV cache, робочу область 2 ГБ і запас 15% GPU. RAM і диск є вимогами GlobalAtlas планування, а не офіційними мінімумами розробника. Тип диска, драйвери та runtime підтверджуються перед встановленням. Бюджет обслуговування 8192 токенів охоплює вхід і вихід; довший контекст або більше одночасних запитів потребують масштабування та тесту навантаження.

Оригінальна картка моделі

Оберіть вашу інфраструктуру

Оберіть обладнання, а потім підтвердьте з фахівцем доступність і встановлення моделі. Саме замовлення сервера не встановлює модель.

Ми разом із вами підберемо для цієї моделі сумісну конфігурацію.

Запросити повне налаштування

Вкажіть модель, регіон і очікуване навантаження. Наші фахівці підтвердять обладнання, встановлення, захист доступу та кінцеву ціну.

Обговорити з Atlas →

Запросити допомогу фахівця →

Надішліть ваші вимоги фахівцям GlobalAtlas для індивідуального перегляду конфігурації. Вони перевірять обладнання, сумісність і умови, а потім дадуть відповідь електронною поштою.