Decisão de arquitetura
Use o cartão de modelo selecionado para dimensionamento. Uma estimativa de memória para pesos densos de 7B não pode ser reutilizada para uma versão diferente do Mistral.
GLOBALATLAS AI · Infraestrutura para Mistral
Infraestrutura para Mistral
Mistral 7B e outras versões do Mistral diferem em tamanho e arquitetura. Selecione uma placa de modelo específica antes de dimensionar o hardware.
Combine a arquitetura Mistral com o tempo de execução
- 01
Carta do modelo exata e revisão de peso
- 02
Arquitetura densa ou de mistura de especialistas
- 03
Tempo de execução suportado, precisão e contexto
Requisitos de configuração
Um modelo denso de 7B em 16 bits tem aproximadamente 14 GB decimais de pesos. Reserve memória para tempo de execução e contexto; não estime o número de usuários a partir dessa estimativa.