GLOBALATLAS AI · INFERENȚĂ DEDICATĂ

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: configurație de inferență găzduită local, greutăți BF16, context de 8192 tokeni, memorie GPU și selecție de server.

Configurație

Model text ajustat pentru instrucțiuni. Căutarea în documente necesită un serviciu separat de recuperare/indexare; imaginile și audio nu sunt acceptate de acest checkpoint.

Model: Qwen/Qwen2.5-32B-Instruct
Parametri / greutăți: 32.76B · — GB
Formatul greutăților: BF16
Context / concurență: 8192 / 1
Limită de context a checkpointului: 32768
Memorie GPU estimată: Requires an updated assessment
RAM / disc planificate: ≥ 128 GB / ≥ 200 GB
Rulare de servire: vLLM · HTTP API
Licență: Apache-2.0

Estimarea include greutățile BF16, cache-ul KV, spațiul de lucru de 2 GB și marja de siguranță 15% GPU. RAM și discul sunt cerințe de planificare GlobalAtlas, nu minimele oficiale ale dezvoltatorului. Tipul discului, driverele și runtime-ul sunt confirmate înainte de instalare. Bugetul de servire de 8192 tokeni include intrarea și ieșirea; un context mai lung sau mai multe solicitări simultane necesită redimensionare și un test de încărcare.

Cardul original al modelului

Alegeți infrastructura dvs.

Selectați hardware-ul, apoi confirmați disponibilitatea și instalarea modelului cu un specialist. Comanda de server singură nu instalează modelul.

Vom selecta împreună o configurație compatibilă pentru acest model.

Solicitați configurarea completă

Includeți modelul, regiunea și sarcina așteptată. Specialiștii noștri vor confirma hardware-ul, instalarea, protecția accesului și prețul final.

Discutați cu Atlas →

Solicitați asistență de specialitate →

Trimiteți cerințele dvs. specialiștilor GlobalAtlas pentru o analiză individuală a configurației. Ei vor verifica hardware-ul, compatibilitatea și termenii, apoi vor răspunde prin email.