GLOBALATLAS AI · NAMJENSKI INFERENCE

Qwen2.5-14B-Instruct

Qwen2.5-14B-Instruct: self-hosted konfiguracija inferencije, BF16 težine, 8192-token kontekst, GPU memorija i izbor servera.

Konfiguracija

Tekstualni model fino prilagođen uputama. Pretraga dokumenata zahtijeva zasebnu uslugu preuzimanja/indexiranja; slike i audio nisu podržani ovim checkpointom.

Model: Qwen/Qwen2.5-14B-Instruct
Parametri / težine: 14.77B · — GB
Format težine: BF16
Kontekst / istovremenost: 8192 / 1
Ograničenje konteksta kontrolne tačke: 32768
Procijenjena GPU memorija: Requires an updated assessment
Planirano RAM / disk: ≥ 64 GB / ≥ 150 GB
Runtime za posluživanje: vLLM · HTTP API
Licenca: Apache-2.0

Procjena uključuje BF16 težine, KV cache, 2 GB radni prostor i 15% GPU rezervu. RAM i disk su GlobalAtlas planirani zahtjevi, a ne zvanični minimumi developera. Vrsta diska, driveri i runtime potvrđuju se prije instalacije. 8192-token budžet za posluživanje uključuje ulaz i izlaz; duži kontekst ili više istovremenih zahtjeva zahtijeva prilagođavanje veličine i test opterećenja.

Originalna kartica modela

Odaberite svoju infrastrukturu

Odaberite hardver, zatim sa stručnjakom potvrdite dostupnost i instalaciju modela. Sama narudžba servera ne instalira model.

S vama ćemo odabrati kompatibilnu konfiguraciju za ovaj model.

Zatražite kompletno podešavanje

Navedite model, regiju i očekivano opterećenje. Naši stručnjaci će potvrditi hardver, instalaciju, zaštitu pristupa i konačnu cijenu.

Razgovarajte s Atlasom →

Zatražite pomoć stručnjaka →

Pošaljite svoje zahtjeve GlobalAtlas stručnjacima za individualni pregled konfiguracije. Oni će provjeriti hardver, kompatibilnost i uslove, a zatim odgovoriti e-poštom.