კონფიგურაცია
ინსტრუქციებით ნასწავლი ტექსტური model v3 tokenizer-ით. Function calling მოითხოვს თავსებად chat template-ს და აპლიკაციის მხარეს tool execution-ს.
- მოდელი
- mistralai/Mistral-7B-Instruct-v0.3
- პარამეტრები / weights
- 7.25B · — GB
- weights-ის ფორმატი
- BF16
- კონტექსტი / კონკურენტულობა
- 8192 / 1
- ჩექპოინტის კონტექსტის ლიმიტი
- 32768
- GPU მეხსიერების შეფასება
- Requires an updated assessment
- დაგეგმილი RAM / disk
- ≥ 32 GB / ≥ 100 GB
- სერვინგის runtime
- vLLM · HTTP API
- ლიცენზია
- Apache-2.0
შეფასება მოიცავს BF16 weights-ს, KV cache-ს, 2 GB სამუშაო სივრცეს და 15% GPU headroom-ს. RAM და disk არის GlobalAtlas დაგეგმვის მოთხოვნები და არა დეველოპერის ოფიციალური მინიმუმები. disk ტიპი, დრაივერები და runtime დადასტურდება ინსტალაციამდე. 8192-token სერვინგის ბიუჯეტი მოიცავს input-სა და output-ს; უფრო გრძელი კონტექსტი ან მეტი ერთდროული მოთხოვნა საჭიროებს ზომის შეცვლას და დატვირთვის ტესტს.
ორიგინალი model card