Decisione di architettura
Usa la scheda modello selezionata per dimensionare. Una stima di memoria per pesi densamente popolati da 7B non può essere riutilizzata per una versione Mistral diversa.
GLOBALATLAS AI · Infrastruttura per Mistral
Infrastruttura per Mistral
Mistral 7B e altre versioni di Mistral differiscono in dimensione e architettura. Seleziona una scheda modello specifica prima di dimensionare l'hardware.
Abbina l'architettura Mistral al runtime
- 01
Carta modello e revisione peso esatti
- 02
Architettura densa o a esperti misti
- 03
Runtime supportato, precisione e contesto
Requisiti di configurazione
Un modello denso da 7B a 16 bit ha circa 14 GB decimali di pesi. Riserva memoria per runtime e contesto; non dedurre il numero di utenti da questa stima.