GLOBALATLAS AI · Infrastruttura AI
Infrastruttura AI
Le modifiche al modello avvengono durante l'addestramento; l'inferenza lo esegue. Servizio modello, dataset e API applicative hanno requisiti di risorse separati.
Seleziona una fase del ciclo di vita AI
Addestra e adatta
Training AI
L'addestramento memorizza attivazioni, gradienti e stato dell'ottimizzatore oltre ai pesi del modello. La velocità del dataset e i checkpoint sono importanti.
Esplora →Fine-tuning
Il fine-tuning adatta un modello preaddestrato. Il fine-tuning completo e i metodi a efficienza di parametri hanno requisiti di memoria diversi.
Esplora →Servire un modello
Hosting LLM
Un servizio modello necessita di pesi in memoria, buffer di runtime, cache KV e endpoint applicativo.
Esplora →Inferenza AI
L’inferenza esegue un modello addestrato. La dimensione di input, il batching e la lunghezza del contesto determinano la memoria di lavoro e i pesi del modello.
Esplora →Infrastruttura per DeepSeek
DeepSeek-R1 e i suoi modelli distillati sono carichi di lavoro diversi. Le versioni distillate vanno da 1,5B a 70B parametri; il modello completo richiede una valutazione separata delle dimensioni.
Esplora →Infrastruttura per Llama
Llama è una famiglia di modelli. Llama 3.1 8B è un esempio di modello con 8 miliardi di parametri, non una promessa di capacità per ogni rilascio Llama.
Esplora →Infrastruttura per Mistral
Mistral 7B e altre versioni di Mistral differiscono in dimensione e architettura. Seleziona una scheda modello specifica prima di dimensionare l'hardware.
Esplora →Infrastruttura per Qwen
Qwen include famiglie di modelli di testo, codice e multimodali. Inizia con una versione esatta del modello, runtime di servizio supportato, precisione e budget di contesto; queste scelte determinano i requisiti infrastrutturali.
Esplora →Infrastruttura per Gemma
Gemma ha diverse dimensioni e varianti specifiche per compito. Scegli la scheda modello esatta, accetta i termini di utilizzo e verifica il supporto runtime prima di pianificare un servizio auto-ospitato.
Esplora →Infrastruttura per Stable Diffusion
Stable Diffusion serve carichi di lavoro di generazione immagini. SDXL Base, un rifinitore opzionale e componenti aggiuntivi del workflow hanno requisiti di memoria e archiviazione separati. Risoluzione e dimensione batch influenzano l'intera pipeline.
Esplora →Infrastruttura per FLUX
Le versioni FLUX differiscono in architettura, codice di inferenza e licenza del modello. Seleziona la versione esatta e il workflow supportato, quindi misura la memoria di picco alla risoluzione e alla precisione desiderate.
Esplora →Infrastruttura per Whisper
Whisper è una famiglia di modelli di riconoscimento vocale open-source. La trascrizione auto-ospitata utilizza pesi del modello scaricati e un runtime di inferenza locale; è separata da un abbonamento API di riconoscimento vocale ospitato.
Esplora →Elabora contenuti
Infrastruttura di embedding
Le pipeline di embedding codificano l'input in vettori e di solito combinano l'esecuzione del modello con un indice o database separato.
Esplora →Infrastruttura per generazione immagini
La memoria per generazione immagini dipende dal modello, risoluzione, batch e pipeline di inferenza.
Esplora →Infrastruttura Speech AI
Trascrizione e sintesi vocale hanno requisiti di latenza, batching e elaborazione audio diversi.
Esplora →