GLOBALATLAS AI · DEDIKERET INFERENS

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct: selvhostet inferenskonfiguration, BF16-vægte, 8192-token-kontekst, GPU-hukommelse og servervalg.

Konfiguration

Instruktionsfinjusteret tekstmodel. Dokument-søgning kræver en separat søge-/indekseringstjeneste; billeder og lyd understøttes ikke af dette checkpoint.

Model: Qwen/Qwen2.5-7B-Instruct
Parametre / vægte: 7.62B · — GB
Vægtformat: BF16
Kontekst / samtidighed: 8192 / 1
Maksimum for kontekst for checkpoint: 32768
Estimeret GPU-hukommelse: Requires an updated assessment
Planlagt RAM / disk: ≥ 32 GB / ≥ 100 GB
Serving-runtime: vLLM · HTTP API
Licens: Apache-2.0

Estimatet inkluderer BF16-vægte, KV-cache, 2 GB arbejdsområde og 15% GPU-margin. RAM og disk er GlobalAtlas planlægningskrav, ikke udviklerens officielle minimum. Disktype, drivere og runtime bekræftes før installation. 8192-token-servingbudgettet omfatter input og output; en længere kontekst eller flere samtidige anmodninger kræver tilpasning og en belastningstest.

Oprindeligt modelkort

Vælg din infrastruktur

Vælg hardware, og bekræft derefter tilgængelighed og modelinstallation med en specialist. Serverbestillingen alene installerer ikke modellen.

Vi vælger sammen en kompatibel konfiguration til denne model.

Anmod om den komplette opsætning

Medtag model, region og forventet belastning. Vores specialister bekræfter hardware, installation, adgangsbeskyttelse og den endelige pris.

Tal med Atlas →

Anmod om hjælp fra en specialist →

Send dine krav til GlobalAtlas-specialister for en individuel gennemgang af konfigurationen. De vil kontrollere hardware, kompatibilitet og vilkår og derefter svare via e-mail.