GLOBALATLAS AI · INFERENCIA DEDICADA

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: configuración de inferencia autogestionada, pesos de BF16, contexto de 8192 tokens, memoria de GPU y selección de servidor.

Configuración

Modelo de texto ajustado para instrucciones con el tokenizador v3. La llamada de funciones requiere una plantilla de chat compatible y la ejecución de herramientas en la aplicación.

Modelo: mistralai/Mistral-7B-Instruct-v0.3
Parámetros / pesos: 7.25B · — GB
Formato de pesos: BF16
Contexto / concurrencia: 8192 / 1
Límite de contexto del checkpoint: 32768
Memoria estimada de GPU: Requires an updated assessment
RAM / disco planificados: ≥ 32 GB / ≥ 100 GB
Tiempo de ejecución del servicio: vLLM · HTTP API
Licencia: Apache-2.0

La estimación incluye pesos de BF16, caché KV, espacio de trabajo de 2 GB y margen de 15% GPU. RAM y el disco son requisitos de planificación GlobalAtlas, no los mínimos oficiales del desarrollador. El tipo de disco, los controladores y el tiempo de ejecución se confirman antes de la instalación. El presupuesto de servicio de 8192 tokens incluye entrada y salida; un contexto más largo o más solicitudes simultáneas requiere redimensionamiento y una prueba de carga.

Ficha original del modelo

Elija su infraestructura

Seleccione el hardware y luego confirme con un especialista la disponibilidad y la instalación del modelo. El pedido del servidor por sí solo no instala el modelo.

Seleccionaremos con usted una configuración compatible para este modelo.

Solicitar la configuración completa

Incluya el modelo, la región y la carga esperada. Nuestros especialistas confirmarán el hardware, la instalación, la protección de acceso y el precio final.

Analizar con Atlas →

Solicitar ayuda de un especialista →

Envíe sus requisitos a los especialistas de GlobalAtlas para una revisión individual de configuración. Verificarán el hardware, la compatibilidad y las condiciones, y luego responderán por correo electrónico.