GLOBALATLAS AI · Dedikált inferencia

Qwen2.5-14B-Instruct

Qwen2.5-14B-Instruct: saját hosztolású következtetési konfiguráció, BF16 súlyok, 8192 tokenes kontextus, GPU memória és szerverkiválasztás.

Konfiguráció

Utasításokra finomhangolt szöveges modell. A dokumentumkeresés külön visszakereső/indexelő szolgáltatást igényel; a képeket és hangot ez a checkpoint nem támogatja.

Modell: Qwen/Qwen2.5-14B-Instruct
Paraméterek / súlyok: 14.77B · — GB
Súlyformátum: BF16
Kontextus / párhuzamosság: 8192 / 1
Checkpont kontextushatár: 32768
Becsült GPU memória: Requires an updated assessment
Tervezett RAM / lemez: ≥ 64 GB / ≥ 150 GB
Kiszolgálási futtatókörnyezet: vLLM · HTTP API
Licenc: Apache-2.0

A becslés tartalmazza az BF16 súlyokat, a KV gyorsítótárat, 2 GB munkaterületet és 15% GPU tartalékot. Az RAM és a lemez GlobalAtlas tervezési követelmények, nem a fejlesztő hivatalos minimumai. A lemeztípus, az illesztőprogramok és a futtatókörnyezet a telepítés előtt megerősítésre kerül. A 8192 tokenes kiszolgálási költségkeret tartalmazza a bemenetet és a kimenetet; a hosszabb kontextus vagy több egyidejű kérés átméretezést és terheléses tesztet igényel.

Eredeti modellkártya

Válassza ki az infrastruktúráját

Válassza ki a hardvert, majd egy szakértővel erősítse meg az elérhetőséget és a modelltelepítést. A szerverrendelés önmagában nem telepíti a modellt.

Kiválasztunk Önnel együtt egy ehhez a modellhez kompatibilis konfigurációt.

Kérje a teljes beállítást

Adja meg a modellt, a régiót és a várható terhelést. Szakértőink megerősítik a hardvert, a telepítést, a hozzáférés-védelmet és a végső árat.

Beszéljen az Atlasszal →

Kérjen szakértői segítséget →

Küldje el igényeit az GlobalAtlas szakértőinek egyedi konfigurációs áttekintésre. Ellenőrzik a hardvert, az összeférhetőséget és a feltételeket, majd e-mailben válaszolnak.