GLOBALATLAS AI · INFERENCIA DEDICADA

Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct: configuración de inferencia autogestionada, pesos BF16, contexto de 8192 tokens, memoria GPU y selección de servidor.

Configuración

Modelo de texto ajustado para instrucciones. La búsqueda de documentos requiere un servicio independiente de recuperación/indexación; las imágenes y el audio no son compatibles con este checkpoint.

Modelo: Qwen/Qwen2.5-32B-Instruct
Parámetros / pesos: 32.76B · — GB
Formato de pesos: BF16
Contexto / concurrencia: 8192 / 1
Límite de contexto de checkpoint: 32768
Memoria estimada de GPU: Requires an updated assessment
RAM / disco previstos: ≥ 128 GB / ≥ 200 GB
Ejecución del servicio: vLLM · HTTP API
Licencia: Apache-2.0

La estimación incluye pesos de BF16, caché KV, espacio de trabajo de 2 GB y margen de seguridad de 15% GPU. RAM y disco son requisitos de planificación GlobalAtlas, no los mínimos oficiales del desarrollador. El tipo de disco, los controladores y el entorno de ejecución se confirman antes de la instalación. El presupuesto de servicio de 8192 tokens incluye entrada y salida; un contexto más largo o más solicitudes simultáneas requiere redimensionar y una prueba de carga.

Ficha original del modelo

Elija su infraestructura

Seleccione el hardware y, a continuación, confirme con un especialista la disponibilidad y la instalación del modelo. El pedido del servidor por sí solo no instala el modelo.

Seleccionaremos con usted una configuración compatible para este modelo.

Solicitar la configuración completa

Incluya el modelo, la región y la carga esperada. Nuestros especialistas confirmarán el hardware, la instalación, la protección de acceso y el precio final.

Hablar con Atlas →

Solicitar ayuda de un especialista →

Envíe sus requisitos a los especialistas de GlobalAtlas para una revisión individual de la configuración. Comprobarán el hardware, la compatibilidad y las condiciones, y después responderán por correo electrónico.