GLOBALATLAS AI · NAMIJENJENA INFERENCIJA

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: samostalno hostana konfiguracija inferencije, težine BF16, kontekst od 8192 tokena, memorija GPU i odabir servera.

Konfiguracija

Tekstualni model fino podešen prema uputama. Pretraživanje dokumenata zahtijeva zasebnu uslugu dohvaćanja/indexiranja; slike i zvuk nisu podržani ovim checkpointom.

Model: Qwen/Qwen2.5-32B-Instruct
Parametri / težine: 32.76B · — GB
Format težina: BF16
Kontekst / istodobnost: 8192 / 1
Ograničenje konteksta checkpointa: 32768
Procijenjena memorija GPU: Requires an updated assessment
Planirani RAM / disk: ≥ 128 GB / ≥ 200 GB
Runtime za posluživanje: vLLM · HTTP API
Licenca: Apache-2.0

Procjena uključuje težine BF16, KV cache, radni prostor od 2 GB i rezervu od 15% GPU. Zahtjevi RAM i diska su GlobalAtlas za planiranje, a ne službeni minimumi developera. Vrsta diska, driveri i runtime potvrđuju se prije instalacije. Proračun posluživanja od 8192 tokena uključuje ulaz i izlaz; dulji kontekst ili više istodobnih zahtjeva zahtijeva prilagodbu veličine i test opterećenja.

Izvorna kartica modela

Odaberite svoju infrastrukturu

Odaberite hardver, zatim sa stručnjakom potvrdite dostupnost i instalaciju modela. Sama narudžba servera ne instalira model.

S vama ćemo odabrati kompatibilnu konfiguraciju za ovaj model.

Zatražite cjelovito postavljanje

Navedite model, regiju i očekivano opterećenje. Naši će stručnjaci potvrditi hardver, instalaciju, zaštitu pristupa i konačnu cijenu.

Razgovarajte s Atlasom →

Zatražite pomoć stručnjaka →

Pošaljite svoje zahtjeve stručnjacima GlobalAtlas za individualnu provjeru konfiguracije. Provjerit će hardver, kompatibilnost i uvjete, a zatim odgovoriti e-poštom.