GLOBALATLAS AI · INFERENZA DEDIKATA

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct: konfigurazzjoni ta’ inferenza ospitata minnek, piżijiet BF16, kuntest ta’ 8192 tokens, memorja ta’ GPU u għażla tas-server.

Konfigurazzjoni

Mudell ta’ test imtaqqal fuq struzzjonijiet. Tfittxija ta’ dokumenti teħtieġ servizz separat ta’ retrieval/indexing; stampi u awdjo mhumiex appoġġati minn dan il-checkpoint.

Mudell: Qwen/Qwen2.5-7B-Instruct
Parametri / piżijiet: 7.62B · — GB
Format tal-piż: BF16
Kuntest / konkorenza: 8192 / 1
Limitu tal-kuntest ta’ checkpoint: 32768
Memorja stmata ta’ GPU: Requires an updated assessment
RAM / disk ippjanat: ≥ 32 GB / ≥ 100 GB
Runtime tas-servizz: vLLM · HTTP API
Liċenzja: Apache-2.0

L-istima tinkludi piżijiet ta’ BF16, KV cache, workspace ta’ 2 GB u headroom ta’ 15% GPU. RAM u disk huma rekwiżiti ppjanati ta’ GlobalAtlas, mhux il-minimi uffiċjali tal-iżviluppatur. It-tip ta’ disk, is-sewwieqa u r-runtime jiġu kkonfermati qabel l-installazzjoni. Il-baġit tas-servizz ta’ 8192 tokens jinkludi input u output; kuntest itwal jew iktar talbiet simultanji jeħtieġu daqs mill-ġdid u load test.

Kard oriġinali tal-mudell

Agħżel l-infrastruttura tiegħek

Agħżel il-hardware, imbagħad ikkonferma d-disponibbiltà u l-installazzjoni tal-mudell ma’ speċjalist. L-ordni tas-server biss ma tinstalla l-mudell.

Aħna nagħżlu miegħek konfigurazzjoni kompatibbli għal dan il-mudell.

Itlob is-setup komplet

Inkludi l-mudell, ir-reġjun u t-tagħbija mistennija. L-ispeċjalisti tagħna jikkonfermaw il-hardware, l-installazzjoni, il-protezzjoni tal-aċċess u l-prezz finali.

Iddiskuti ma’ Atlas →

Itlob għajnuna minn speċjalist →

Ibgħat ir-rekwiżiti tiegħek lill-ispeċjalisti ta’ GlobalAtlas għal reviżjoni individwali tal-konfigurazzjoni. Huma jiċċekkjaw il-hardware, il-kompatibbiltà u t-termini, imbagħad iwieġbu bl-email.