پیکربندی
مدل متنی تنظیم‌شده برای دستورالعمل با توکنایزر v3. فراخوانی تابع به یک قالب چت سازگار و اجرای ابزار در سمت برنامه نیاز دارد.
- مدل
- mistralai/Mistral-7B-Instruct-v0.3
- پارامترها / وزن‌ها
- 7.25B · — GB
- قالب وزن
- BF16
- کانتکست / هم‌زمانی
- 8192 / 1
- حدود کانتکست Checkpoint
- 32768
- حافظه تخمینی GPU
- Requires an updated assessment
- RAM / دیسک برنامه‌ریزی‌شده
- ≥ 32 GB / ≥ 100 GB
- زمان اجرای سرویس‌دهی
- vLLM · HTTP API
- مجوز
- Apache-2.0
برآورد شامل وزن‌های BF16، کش KV، فضای کاری 2 گیگابایتی و حاشیه امن 15% GPU است. RAM و دیسک از الزامات برنامه‌ریزی GlobalAtlas هستند، نه حداقل‌های رسمی توسعه‌دهنده. نوع دیسک، درایورها و زمان اجرا پیش از نصب تأیید می‌شوند. بودجه سرویس‌دهی 8192 توکنی شامل ورودی و خروجی است؛ کانتکست طولانی‌تر یا درخواست‌های هم‌زمان بیشتر به تغییر اندازه و آزمون بار نیاز دارد.
کارت مدل اصلی