Mistral-7B-Instruct-v0.3

Configuração

Modelo de texto ajustado para instruções com o tokenizer v3. O chamado de funções exige um template de chat compatível e a execução das ferramentas na aplicação.

Modelo

mistralai/Mistral-7B-Instruct-v0.3

Parâmetros / pesos

7.25B · — GB

Formato dos pesos

BF16

Contexto / concorrência

8192 / 1

Limite de contexto do checkpoint

32768

Memória GPU estimada

Requires an updated assessment

RAM / disco planejados

≥ 32 GB / ≥ 100 GB

Runtime de serving

vLLM · HTTP API

Licença

Apache-2.0

A estimativa inclui pesos BF16, cache KV, workspace de 2 GB e margem de 15% GPU. RAM e disco são requisitos de planejamento GlobalAtlas, não os mínimos oficiais do desenvolvedor. O tipo de disco, os drivers e o runtime são confirmados antes da instalação. O orçamento de serving de 8192 tokens inclui entrada e saída; um contexto maior ou mais solicitações simultâneas exige redimensionamento e um teste de carga.

Escolha sua infraestrutura

Selecione o hardware e, em seguida, confirme a disponibilidade e a instalação do modelo com um especialista. O pedido do servidor, por si só, não instala o modelo.

Vamos selecionar com você uma configuração compatível para este modelo.