GLOBALATLAS AI · DEDIKERT INFERENS

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct: selvhostet inferenskonfigurasjon, BF16-vekter, 8192-tokenkontekst, GPU-minne og servervalg.

Konfigurasjon

Tekstmodell finjustert for instruksjoner. Dokumentsøk krever en separat tjeneste for gjenfinning/indeksering; bilder og lyd støttes ikke av dette sjekkpunktet.

Modell: Qwen/Qwen2.5-7B-Instruct
Parametere / vekter: 7.62B · — GB
Vektformat: BF16
Kontekst / samtidighet: 8192 / 1
Grense for kontekst for sjekkpunkt: 32768
Estimert GPU-minne: Requires an updated assessment
Planlagt RAM / disk: ≥ 32 GB / ≥ 100 GB
Serveringskjøretid: vLLM · HTTP API
Lisens: Apache-2.0

Estimatet inkluderer BF16-vekter, KV-cache, 2 GB arbeidsområde og 15% GPU-margin. RAM og disk er GlobalAtlas-planleggingskrav, ikke utviklerens offisielle minimum. Disktype, drivere og kjøretid bekreftes før installasjon. Serveringsbudsjettet på 8192-tokens inkluderer input og output; lengre kontekst eller flere samtidige forespørsler krever justering av størrelse og en lasttest.

Originalt modellkort

Velg infrastrukturen din

Velg maskinvare, og bekreft deretter tilgjengelighet og modellinstallasjon med en spesialist. Serverbestillingen alene installerer ikke modellen.

Vi velger en kompatibel konfigurasjon for denne modellen sammen med deg.

Be om komplett oppsett

Ta med modellen, regionen og forventet last. Våre spesialister bekrefter maskinvare, installasjon, tilgangsbeskyttelse og endelig pris.

Drøft med Atlas →

Be om bistand fra spesialist →

Send kravene dine til GlobalAtlas-spesialister for en individuell gjennomgang av konfigurasjonen. De vil kontrollere maskinvare, kompatibilitet og vilkår, og deretter svare på e-post.