Конфигурация
v3 токенизаторымен instruction-tuned мәтіндік модель. Function calling үшін үйлесімді chat template және қолданба жағында tool execution қажет.
- Модель
- mistralai/Mistral-7B-Instruct-v0.3
- Параметрлер / салмақтар
- 7.25B · — GB
- Салмақ форматы
- BF16
- Контекст / concurrency
- 8192 / 1
- Контекст лимиті чекпойнты
- 32768
- Шамаланған GPU жады
- Requires an updated assessment
- Жоспарланған RAM / диск
- ≥ 32 GB / ≥ 100 GB
- Қызмет көрсету ортасы
- vLLM · HTTP API
- Лицензия
- Apache-2.0
Бағалауға BF16 салмақтары, KV cache, 2 GB жұмыс аймағы және 15% GPU қоры кіреді. RAM және диск — GlobalAtlas жоспарлау талаптары, әзірлеушінің ресми минимумдары емес. Диск түрі, драйверлер және жұмыс ортасы орнату алдында расталады. 8192-токендік қызмет көрсету бюджетіне кіріс пен шығыс кіреді; ұзағырақ контекст немесе бір уақытта көп сұрау өлшемін өзгерту мен жүктеме сынағын талап етеді.
Түпнұсқа model card