Απόφαση αρχιτεκτονικής
Μην διαμορφώνετε ολόκληρη τη οικογένεια Llama από ένα παράδειγμα 8B. Η cache περιεχομένου και το runtime overhead είναι επιπλέον της μνήμης βάρους.
GLOBALATLAS AI · Υποδομή για Llama
Υποδομή για Llama
Το Llama είναι μια οικογένεια μοντέλων. Το Llama 3.1 8B είναι ένα παράδειγμα μοντέλου με 8 δισεκατομμύρια παραμέτρους, όχι υπόσχεση χωρητικότητας για κάθε έκδοση Llama.
Ετοιμάστε προφίλ ανάπτυξης Llama
- 01
Έκδοση μοντέλου, μέγεθος και άδεια
- 02
Ακρίβεια και χρόνος εκτέλεσης μνήμης πέραν των βαρών
- 03
Πρότυπο συνομιλίας, πλαίσιο και ερωτήματα αξιολόγησης
Απαιτήσεις διαμόρφωσης
Για 8B πυκνά βάρη στα 16 bits, η εκτίμηση μόνο των βαρών είναι 16 GB δεκαδικά. Το runtime και η KV cache χρειάζονται επιπλέον μνήμη· ελέγξτε την άδεια του μοντέλου.