კონფიგურაცია
ინსტრუქციებით ნასწავლი ტექსტური model. დოკუმენტების ძიებას სჭირდება ცალკე retrieval/indexing სერვისი; ეს checkpoint სურათებსა და აუდიოს არ უჭერს მხარს.
- მოდელი
- Qwen/Qwen2.5-32B-Instruct
- პარამეტრები / weights
- 32.76B · — GB
- weights-ის ფორმატი
- BF16
- კონტექსტი / კონკურენტულობა
- 8192 / 1
- ჩექპოინტის კონტექსტის ლიმიტი
- 32768
- GPU მეხსიერების შეფასება
- Requires an updated assessment
- დაგეგმილი RAM / disk
- ≥ 128 GB / ≥ 200 GB
- სერვინგის runtime
- vLLM · HTTP API
- ლიცენზია
- Apache-2.0
შეფასება მოიცავს BF16 weights-ს, KV cache-ს, 2 GB სამუშაო სივრცეს და 15% GPU headroom-ს. RAM და disk არის GlobalAtlas დაგეგმვის მოთხოვნები და არა დეველოპერის ოფიციალური მინიმუმები. disk ტიპი, დრაივერები და runtime დადასტურდება ინსტალაციამდე. 8192-token სერვინგის ბიუჯეტი მოიცავს input-სა და output-ს; უფრო გრძელი კონტექსტი ან მეტი ერთდროული მოთხოვნა საჭიროებს ზომის შეცვლას და დატვირთვის ტესტს.
ორიგინალი model card