Mistral-7B-Instruct-v0.3

Configurazione

Modello di testo ottimizzato per istruzioni con il tokenizer v3. La function calling richiede un template chat compatibile e l’esecuzione degli strumenti lato applicazione.

Modello

mistralai/Mistral-7B-Instruct-v0.3

Parametri / pesi

7.25B · — GB

Formato dei pesi

BF16

Contesto / concorrenza

8192 / 1

Limite del contesto checkpoint

32768

Memoria GPU stimata

Requires an updated assessment

RAM / disco pianificati

≥ 32 GB / ≥ 100 GB

Runtime di serving

vLLM · HTTP API

Licenza

Apache-2.0

La stima include pesi BF16, cache KV, spazio di lavoro da 2 GB e margine 15% GPU. RAM e disco sono requisiti di pianificazione GlobalAtlas, non i minimi ufficiali dello sviluppatore. Tipo di disco, driver e runtime vengono confermati prima dell’installazione. Il budget di serving da 8192 token include input e output; un contesto più lungo o più richieste simultanee richiedono un ridimensionamento e un test di carico.

Scegli la tua infrastruttura

Seleziona l’hardware, quindi conferma con uno specialista la disponibilità e l’installazione del modello. Il solo ordine del server non installa il modello.

Selezioneremo con te una configurazione compatibile per questo modello.