Qwen2.5-7B-Instruct

Configuração

Modelo de texto ajustado por instruções. A pesquisa de documentos requer um serviço separado de recuperação/indexação; imagens e áudio não são suportados por este checkpoint.

Modelo

Qwen/Qwen2.5-7B-Instruct

Parâmetros / pesos

7.62B · — GB

Formato dos pesos

BF16

Contexto / concorrência

8192 / 1

Limite de contexto do checkpoint

32768

Memória estimada GPU

Requires an updated assessment

RAM / disco planeados

≥ 32 GB / ≥ 100 GB

Runtime de serving

vLLM · HTTP API

Licença

Apache-2.0

A estimativa inclui pesos BF16, cache KV, espaço de trabalho de 2 GB e margem de 15% GPU. RAM e disco são requisitos de planeamento GlobalAtlas, não os mínimos oficiais do programador. O tipo de disco, os drivers e o runtime são confirmados antes da instalação. O orçamento de serving de 8192 tokens inclui entrada e saída; um contexto maior ou mais pedidos simultâneos exige redimensionamento e um teste de carga.

Escolha a sua infraestrutura

Selecione o hardware e, em seguida, confirme a disponibilidade e a instalação do modelo com um especialista. Só a encomenda do servidor não instala o modelo.

Selecionaremos consigo uma configuração compatível para este modelo.