GLOBALATLAS AI · Infraestructura d'IA
Infraestructura d'IA
Els canvis en l'entrenament modifiquen un model; la inferència l'executa. El servei de models, conjunts de dades i API d'aplicacions tenen requisits de recursos separats.
Selecciona una etapa del cicle de vida de la IA
Entrena i adapta
Formació en IA
L'entrenament emmagatzema activacions, gradients i estat de l'optimitzador a més de pesos del model. El rendiment del conjunt de dades i els punts de control també són importants.
Explora →Ajustament fi
L'ajust fi adapta un model preentrenat. L'ajust fi complet i els mètodes d'eficiència de paràmetres tenen requisits de memòria diferents.
Explora →Serveix un model
allotjament LLM
Un servei de model necessita pesos a memòria, buffers d'execució, una memòria cau KV i un punt final d'aplicació.
Explora →Inferència d'IA
L’inferència executa un model entrenat. La mida d’entrada, el batching i la llargada del context determinen la memòria de treball i els pesos del model.
Explora →Infraestructura per DeepSeek
DeepSeek-R1 i els seus models destil·lats són càrregues de treball diferents. Les versions destil·lades varien de 1.5B a 70B paràmetres; el model complet necessita un exercici de dimensionament separat.
Explora →Infraestructura per Llama
Llama és una família de models. Llama 3.1 8B és un exemple d'un model de 8 mil milions de paràmetres, no una promesa de capacitat per a cada llançament de Llama.
Explora →Infraestructura per Mistral
Mistral 7B i altres llançaments de Mistral difereixen en mida i arquitectura. Selecciona una fitxa de model específica abans de dimensionar el maquinari.
Explora →Infraestructura per Qwen
Qwen inclou famílies de models de text, codi i multimodals. Comenceu amb una versió exacta del model, temps d'execució suportat, precisió i pressupost de context; aquestes opcions determinen els requisits d'infraestructura.
Explora →Infraestructura per Gemma
Gemma té diverses mides i variants específics per a tasques. Trieu la targeta de model exacta, accepteu els termes d’ús aplicables i verifiqueu el suport en temps d’execució abans de planificar un servei autohospedat.
Explora →Infraestructura per a Stable Diffusion
Stable Diffusion serveix càrregues de treball de generació d'imatges. SDXL Base, un refiner opcional i components addicionals del flux de treball tenen requisits de memòria i emmagatzematge separats. La resolució i la mida del lot influeixen en tot el pipeline.
Explora →Infraestructura per FLUX
Les versions FLUX difereixen en arquitectura, codi d'inferència i llicència del model. Selecciona la versió exacta i el flux de treball suportat, i mesura la memòria màxima a la resolució d'imatge i precisió previstes.
Explora →Infraestructura per Whisper
Whisper és una família de models de reconeixement de veu de codi obert. La transcripció autohospedada utilitza pesos descarregats i un temps d'inferència local; està separada d'una subscripció API de veu allotjada.
Explora →Processar contingut
Infraestructura d'inserció
Les canonades d'inserció codifiquen la entrada en vectors i solen combinar l'execució del model amb un índex o base de dades separat.
Explora →Infraestructura de generació d'imatges
La memòria de generació d'imatges depèn del model, la resolució, la mida del lot i la pipeline d’inferència.
Explora →Infraestructura d'AI de veu
La transcripció i la síntesi de veu tenen requisits de latència, lot i processament d'àudio diferents.
Explora →