Διαμόρφωση
Κείμενο μοντέλο με instruction tuning. Η αναζήτηση εγγράφων απαιτεί ξεχωριστή υπηρεσία ανάκτησης/ευρετηρίασης· εικόνες και ήχος δεν υποστηρίζονται από αυτό το checkpoint.
- Μοντέλο
- Qwen/Qwen2.5-7B-Instruct
- Παράμετροι / βάρη
- 7.62B · — GB
- Μορφή βαρών
- BF16
- Πλαίσιο / ταυτόχρονη εκτέλεση
- 8192 / 1
- Όριο περιεχομένου checkpoint
- 32768
- Εκτιμώμενη μνήμη GPU
- Requires an updated assessment
- Σχεδιαζόμενη RAM / δίσκος
- ≥ 32 GB / ≥ 100 GB
- Χρόνος εκτέλεσης εξυπηρέτησης
- vLLM · HTTP API
- Άδεια
- Apache-2.0
Η εκτίμηση περιλαμβάνει βάρη BF16, cache KV, χώρο εργασίας 2 GB και περιθώριο 15% GPU. Η μνήμη RAM και ο δίσκος είναι απαιτήσεις σχεδιασμού GlobalAtlas, όχι τα επίσημα ελάχιστα του developer. Ο τύπος δίσκου, τα προγράμματα οδήγησης και ο χρόνος εκτέλεσης επιβεβαιώνονται πριν από την εγκατάσταση. Ο προϋπολογισμός εξυπηρέτησης 8192 tokens περιλαμβάνει είσοδο και έξοδο· μεγαλύτερο πλαίσιο ή περισσότερα ταυτόχρονα αιτήματα απαιτούν αλλαγή μεγέθους και δοκιμή φορτίου.
Αρχική κάρτα μοντέλου