GLOBALATLAS AI · Infraestrutura de IA
Infraestrutura de IA
Treinamento altera um modelo; inferência o executa. Servir modelos, conjuntos de dados e APIs de aplicação têm requisitos de recursos separados.
Selecione uma fase do ciclo de vida de IA
Treinar e adaptar
Treinamento de IA
Treinamento armazena ativações, gradientes e estado do otimizador além dos pesos do modelo. Vazão de dados do conjunto e pontos de verificação também importam.
Explorar →Ajuste fino
Ajuste fino adapta um modelo pré-treinado. O ajuste fino completo e os métodos eficientes em parâmetros têm requisitos de memória diferentes.
Explorar →Servir um modelo
Hospedagem de LLM
Um serviço de modelo precisa de pesos na memória, buffers de runtime, cache KV e um endpoint de aplicação.
Explorar →Inferência de IA
A inferência executa um modelo treinado. Tamanho de entrada, agrupamento e comprimento do contexto determinam a memória de trabalho e os pesos do modelo.
Explorar →Infraestrutura para DeepSeek
DeepSeek-R1 e os seus modelos destilados são cargas de trabalho diferentes. As versões destiladas variam de 1,5B a 70B de parâmetros; o modelo completo requer uma avaliação de dimensionamento separada.
Explorar →Infraestrutura para Llama
Llama é uma família de modelos. Llama 3.1 8B é um exemplo de um modelo de 8 bilhões de parâmetros, não uma promessa de capacidade para todas as versões do Llama.
Explorar →Infraestrutura para Mistral
Mistral 7B e outras versões do Mistral diferem em tamanho e arquitetura. Selecione uma versão específica do modelo antes de dimensionar o hardware.
Explorar →Infraestrutura para Qwen
Qwen inclui famílias de modelos de texto, código e multimodais. Comece com uma versão exata do modelo, tempo de execução suportado, precisão e orçamento de contexto; estas escolhas determinam os requisitos de infraestrutura.
Explorar →Infraestrutura para Gemma
Gemma possui várias versões e variantes específicas para tarefas. Escolha a placa exata, aceite seus termos de uso aplicáveis e verifique o suporte de runtime antes de planejar um serviço auto-hospedado.
Explorar →Infraestrutura para Stable Diffusion
Stable Diffusion destina-se a cargas de trabalho de geração de imagens. SDXL Base, um refinador opcional e componentes adicionais do fluxo de trabalho têm requisitos separados de memória e armazenamento. A resolução e o tamanho do lote influenciam todo o pipeline.
Explorar →Infraestrutura para FLUX
Lançamentos FLUX diferem em arquitetura, código de inferência e licenciamento de modelos. Selecione a versão exata e o fluxo de trabalho suportado, depois meça a memória máxima na resolução e precisão de imagem pretendidas.
Explorar →Infraestrutura para Whisper
Whisper é uma família de modelos de reconhecimento de fala de código aberto. Transcrição auto-hospedada usa pesos de modelo baixados e um tempo de execução de inferência local; é separado de uma assinatura de API de fala hospedada.
Explorar →Processar conteúdo
Infraestrutura de incorporação
As pipelines de incorporação codificam a entrada em vetores e geralmente combinam execução de modelos com um índice ou base de dados separado.
Explorar →Infraestrutura de geração de imagens
A memória de geração de imagens depende do modelo, resolução, tamanho do lote e pipeline de inferência.
Explorar →Infraestrutura de IA de fala
Transcrição e síntese de fala têm requisitos diferentes de latência, lote e processamento de áudio.
Explorar →