Διαμόρφωση
Κείμενο μοντέλο με instruction tuning και τον tokenizer v3. Η κλήση λειτουργιών απαιτεί συμβατό πρότυπο chat και εκτέλεση εργαλείων από την εφαρμογή.
- Μοντέλο
- mistralai/Mistral-7B-Instruct-v0.3
- Παράμετροι / βάρη
- 7.25B · — GB
- Μορφή βαρών
- BF16
- Πλαίσιο / ταυτόχρονη εκτέλεση
- 8192 / 1
- Όριο περιεχομένου checkpoint
- 32768
- Εκτιμώμενη μνήμη GPU
- Requires an updated assessment
- Σχεδιαζόμενη RAM / δίσκος
- ≥ 32 GB / ≥ 100 GB
- Χρόνος εκτέλεσης εξυπηρέτησης
- vLLM · HTTP API
- Άδεια
- Apache-2.0
Η εκτίμηση περιλαμβάνει βάρη BF16, cache KV, χώρο εργασίας 2 GB και περιθώριο 15% GPU. Η μνήμη RAM και ο δίσκος είναι απαιτήσεις σχεδιασμού GlobalAtlas, όχι τα επίσημα ελάχιστα του developer. Ο τύπος δίσκου, τα προγράμματα οδήγησης και ο χρόνος εκτέλεσης επιβεβαιώνονται πριν από την εγκατάσταση. Ο προϋπολογισμός εξυπηρέτησης 8192 tokens περιλαμβάνει είσοδο και έξοδο· μεγαλύτερο πλαίσιο ή περισσότερα ταυτόχρονα αιτήματα απαιτούν αλλαγή μεγέθους και δοκιμή φορτίου.
Αρχική κάρτα μοντέλου