Qwen2.5-14B-Instruct

Configuração

Modelo de texto ajustado para instruções. A busca em documentos exige um serviço separado de recuperação/indexação; imagens e áudio não são compatíveis com este checkpoint.

Modelo

Qwen/Qwen2.5-14B-Instruct

Parâmetros / pesos

14.77B · — GB

Formato dos pesos

BF16

Contexto / concorrência

8192 / 1

Limite de contexto do checkpoint

32768

Memória GPU estimada

Requires an updated assessment

RAM / disco planejados

≥ 64 GB / ≥ 150 GB

Runtime de serving

vLLM · HTTP API

Licença

Apache-2.0

A estimativa inclui pesos BF16, cache KV, workspace de 2 GB e margem de 15% GPU. RAM e disco são requisitos de planejamento GlobalAtlas, não os mínimos oficiais do desenvolvedor. O tipo de disco, os drivers e o runtime são confirmados antes da instalação. O orçamento de serving de 8192 tokens inclui entrada e saída; um contexto maior ou mais solicitações simultâneas exige redimensionamento e um teste de carga.

Escolha sua infraestrutura

Selecione o hardware e, em seguida, confirme a disponibilidade e a instalação do modelo com um especialista. O pedido do servidor, por si só, não instala o modelo.

Vamos selecionar com você uma configuração compatível para este modelo.