Configurazione
Modello di testo ottimizzato per istruzioni. La ricerca documentale richiede un servizio separato di retrieval/indexing; immagini e audio non sono supportati da questo checkpoint.
- Modello
- Qwen/Qwen2.5-14B-Instruct
- Parametri / pesi
- 14.77B · — GB
- Formato dei pesi
- BF16
- Contesto / concorrenza
- 8192 / 1
- Limite del contesto checkpoint
- 32768
- Memoria GPU stimata
- Requires an updated assessment
- RAM / disco pianificati
- ≥ 64 GB / ≥ 150 GB
- Runtime di serving
- vLLM · HTTP API
- Licenza
- Apache-2.0
La stima include pesi BF16, cache KV, spazio di lavoro da 2 GB e margine 15% GPU. RAM e disco sono requisiti di pianificazione GlobalAtlas, non i minimi ufficiali dello sviluppatore. Tipo di disco, driver e runtime vengono confermati prima dell’installazione. Il budget di serving da 8192 token include input e output; un contesto più lungo o più richieste simultanee richiedono un ridimensionamento e un test di carico.
Scheda originale del modello