Απόφαση αρχιτεκτονικής
Χρησιμοποιήστε την επιλεγμένη κάρτα μοντέλου για μεγέθυνση. Μια εκτίμηση μνήμης για πυκνά βάρη 7B δεν μπορεί να επαναχρησιμοποιηθεί για διαφορετική έκδοση Mistral.
GLOBALATLAS AI · Υποδομή για Mistral
Υποδομή για Mistral
Το Mistral 7B και άλλες εκδόσεις Mistral διαφέρουν σε μέγεθος και αρχιτεκτονική. Επιλέξτε συγκεκριμένη κάρτα μοντέλου πριν τοποθετήσετε υλικό.
Ταιριάξτε την αρχιτεκτονική Mistral με το runtime
- 01
Ακριβές μοντέλο και αναθεώρηση βάρους
- 02
Δυαδική ή αρχιτεκτονική μίξης εμπειρογνωμόνων
- 03
Υποστηριζόμενη διάρκεια χρόνου, ακρίβεια και πλαίσιο
Απαιτήσεις διαμόρφωσης
Ένα πυκνό μοντέλο 7B με 16 bits έχει περίπου 14 GB δεκαδικών βάρη. Αφήστε μνήμη για το runtime και το πλαίσιο εργασίας· μην υποθέτετε τον αριθμό χρηστών από αυτή την εκτίμηση.