DeepSeek-R1-Distill-Qwen-14B

Configuração

Um modelo de raciocínio DeepSeek separado, destilado a partir de saídas DeepSeek-R1 numa base Qwen2.5-14B. Não é o modelo completo 671B DeepSeek-R1 nem um pacote de dois modelos.

Modelo

deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

Parâmetros / pesos

14.77B · — GB

Formato dos pesos

BF16

Contexto / concorrência

8192 / 1

Limite de contexto do checkpoint

131072

Memória estimada GPU

Requires an updated assessment

RAM / disco planeados

≥ 64 GB / ≥ 150 GB

Runtime de serving

vLLM · HTTP API

Licença

MIT; modelo base Apache-2.0

A estimativa inclui pesos BF16, cache KV, espaço de trabalho de 2 GB e margem de 15% GPU. RAM e disco são requisitos de planeamento GlobalAtlas, não os mínimos oficiais do programador. O tipo de disco, os drivers e o runtime são confirmados antes da instalação. O orçamento de serving de 8192 tokens inclui entrada e saída; um contexto maior ou mais pedidos simultâneos exige redimensionamento e um teste de carga.

Escolha a sua infraestrutura

Selecione o hardware e, em seguida, confirme a disponibilidade e a instalação do modelo com um especialista. Só a encomenda do servidor não instala o modelo.

Selecionaremos consigo uma configuração compatível para este modelo.