Конфигурация
Текстов модел, настроен за инструкции, с tokenizer v3. Извикването на функции изисква съвместим chat template и изпълнение на инструментите от страна на приложението.
- Модел
- mistralai/Mistral-7B-Instruct-v0.3
- Параметри / тегла
- 7.25B · — GB
- Формат на теглата
- BF16
- Контекст / едновременност
- 8192 / 1
- Лимит на контекста за checkpoint
- 32768
- Очаквана памет GPU
- Requires an updated assessment
- Планирана RAM / диск
- ≥ 32 GB / ≥ 100 GB
- Време за работа на serving
- vLLM · HTTP API
- Лиценз
- Apache-2.0
Оценката включва теглата BF16, KV cache, 2 GB работно пространство и 15% GPU резерв. RAM и диск са изисквания за планиране GlobalAtlas, а не официалните минимуми на разработчика. Типът диск, драйверите и средата за изпълнение се потвърждават преди инсталация. Бюджетът за обслужване на 8192 токена включва вход и изход; по-дълъг контекст или повече едновременни заявки изискват преоразмеряване и load test.
Оригинална карта на модела