GLOBALATLAS AI · INFERENCË E DEDIKUAR

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Qwen-32B: konfigurim inferencë i hostuar vetë, pesha BF16, kontekst 8192-token, memorie GPU dhe përzgjedhje serveri.

Konfigurim

Një model i veçantë arsyetimi DeepSeek, i distiluar duke përdorur output-e DeepSeek-R1 mbi një bazë Qwen2.5-32B. Nuk është modeli i plotë 671B DeepSeek-R1 ose një paketë prej dy modelesh.

Modeli: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
Parametrat / pesha: 32.76B · — GB
Formati i peshës: BF16
Kontekst / konkurencë: 8192 / 1
Kufiri i kontekstit të checkpoint-it: 131072
Memoria e vlerësuar GPU: Requires an updated assessment
RAM / disk i planifikuar: ≥ 128 GB / ≥ 200 GB
Runtime i shërbimit: vLLM · HTTP API
Licenca: MIT; modeli bazë Apache-2.0

Vlerësimi përfshin peshat BF16, cache-in KV, hapësirën e punës 2 GB dhe rezervën 15% GPU. RAM dhe disku janë kërkesa planifikimi GlobalAtlas, jo minimumet zyrtare të zhvilluesit. Lloji i diskut, driverët dhe runtime-i konfirmohen para instalimit. Buxheti i shërbimit me token 8192 përfshin input dhe output; një kontekst më i gjatë ose më shumë kërkesa njëkohësisht kërkon ndryshim të madhësisë dhe një test ngarkese.

Karta origjinale e modelit

Zgjidhni infrastrukturën tuaj

Zgjidhni pajisjet, pastaj konfirmoni disponueshmërinë dhe instalimin e modelit me një specialist. Vetëm porosia e serverit nuk e instalon modelin.

Do të zgjedhim së bashku me ju një konfigurim të përputhshëm për këtë model.

Kërkoni konfigurimin e plotë

Përfshini modelin, rajonin dhe ngarkesën e pritshme. Specialistët tanë do të konfirmojnë pajisjet, instalimin, mbrojtjen e aksesit dhe çmimin përfundimtar.

Diskutoni me Atlas →

Kërkoni asistencë nga specialistët →

Dërgoni kërkesat tuaja te specialistët GlobalAtlas për një shqyrtim individual të konfigurimit. Ata do të kontrollojnë pajisjet, përputhshmërinë dhe kushtet, pastaj do t'ju përgjigjen me email.