GLOBALATLAS AI · Infraestrutura de IA
Infraestrutura de IA
Treinamento altera um modelo; inferência o executa. Servir modelos, conjuntos de dados e APIs de aplicação têm requisitos de recursos separados.
Selecione uma fase do ciclo de vida de IA
Treinar e adaptar
Treinamento de IA
O treinamento armazena ativações, gradientes e estado do otimizador além dos pesos do modelo. A taxa de transferência de conjuntos de dados e pontos de verificação também importa.
Explorar →Ajuste fino
Ajuste fino adapta um modelo pré-treinado. Métodos de ajuste fino completo e eficientes em parâmetros têm requisitos de memória diferentes.
Explorar →Servir um modelo
Hospedagem de LLM
Um serviço de modelo precisa de pesos na memória, buffers de tempo de execução, cache KV e um endpoint de aplicação.
Explorar →Inferência de IA
A inferência executa um modelo treinado. Tamanho de entrada, agrupamento e comprimento do contexto determinam a memória de trabalho e os pesos do modelo.
Explorar →Infraestrutura para DeepSeek
DeepSeek-R1 e seus modelos destilados são cargas de trabalho diferentes. As versões destiladas variam de 1,5B a 70B de parâmetros; o modelo completo requer uma avaliação de dimensionamento separada.
Explorar →Infraestrutura para Llama
Llama é uma família de modelos. Llama 3.1 8B é um exemplo de modelo com 8 bilhões de parâmetros, não uma promessa de capacidade para todas as versões do Llama.
Explorar →Infraestrutura para Mistral
Mistral 7B e outras versões do Mistral diferem em tamanho e arquitetura. Selecione uma placa de modelo específica antes de dimensionar o hardware.
Explorar →Infraestrutura para Qwen
Qwen inclui famílias de modelos de texto, código e multimodais. Comece com uma versão exata do modelo, tempo de execução suportado, precisão e orçamento de contexto; essas escolhas determinam os requisitos de infraestrutura.
Explorar →Infraestrutura para Gemma
Gemma possui várias versões e variantes específicas para tarefas. Escolha a placa exata, aceite seus termos de uso aplicáveis e verifique o suporte de runtime antes de planejar um serviço auto-hospedado.
Explorar →Infraestrutura para Stable Diffusion
Stable Diffusion atende cargas de trabalho de geração de imagens. SDXL Base, um refinador opcional e componentes adicionais do fluxo de trabalho têm requisitos separados de memória e armazenamento. Resolução e tamanho do lote influenciam todo o pipeline.
Explorar →Infraestrutura para FLUX
Lançamentos FLUX diferem em arquitetura, código de inferência e licenciamento de modelos. Selecione a versão exata e o fluxo de trabalho suportado, e meça a memória máxima na resolução e precisão de imagem pretendidas.
Explorar →Infraestrutura para Whisper
Whisper é uma família de modelos de reconhecimento de fala de código aberto. Transcrição auto-hospedada usa pesos de modelo baixados e um tempo de execução de inferência local; é separado de uma assinatura de API de fala hospedada.
Explorar →Processar conteúdo
Infraestrutura de incorporação
pipelines de incorporação codificam entrada em vetores e geralmente combinam execução de modelo com um índice ou banco de dados separado.
Explorar →Infraestrutura de geração de imagens
A memória de geração de imagens depende do modelo, resolução, tamanho do lote e pipeline de inferência.
Explorar →Infraestrutura de IA de fala
Transcrição e síntese de fala têm requisitos diferentes de latência, agrupamento e processamento de áudio.
Explorar →