GLOBALATLAS AI · INFERENCIA DEDICADA

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: configuración de inferencia autogestionada, pesos BF16, contexto de 8192 tokens, memoria GPU y selección de servidor.

Configuración

Modelo de texto ajustado para instrucciones con el tokenizador v3. La llamada a funciones requiere una plantilla de chat compatible y la ejecución de herramientas en la aplicación.

Modelo: mistralai/Mistral-7B-Instruct-v0.3
Parámetros / pesos: 7.25B · — GB
Formato de pesos: BF16
Contexto / concurrencia: 8192 / 1
Límite de contexto de checkpoint: 32768
Memoria estimada de GPU: Requires an updated assessment
RAM / disco previstos: ≥ 32 GB / ≥ 100 GB
Ejecución del servicio: vLLM · HTTP API
Licencia: Apache-2.0

La estimación incluye pesos de BF16, caché KV, espacio de trabajo de 2 GB y margen de seguridad de 15% GPU. RAM y disco son requisitos de planificación GlobalAtlas, no los mínimos oficiales del desarrollador. El tipo de disco, los controladores y el entorno de ejecución se confirman antes de la instalación. El presupuesto de servicio de 8192 tokens incluye entrada y salida; un contexto más largo o más solicitudes simultáneas requiere redimensionar y una prueba de carga.

Ficha original del modelo

Elija su infraestructura

Seleccione el hardware y, a continuación, confirme con un especialista la disponibilidad y la instalación del modelo. El pedido del servidor por sí solo no instala el modelo.

Seleccionaremos con usted una configuración compatible para este modelo.

Solicitar la configuración completa

Incluya el modelo, la región y la carga esperada. Nuestros especialistas confirmarán el hardware, la instalación, la protección de acceso y el precio final.

Hablar con Atlas →

Solicitar ayuda de un especialista →

Envíe sus requisitos a los especialistas de GlobalAtlas para una revisión individual de la configuración. Comprobarán el hardware, la compatibilidad y las condiciones, y después responderán por correo electrónico.