Decisión de arquitectura
Utilice la tarjeta de modelo seleccionada para dimensionar. Una estimación de memoria para pesos densos de 7B no puede reutilizarse para una versión diferente de Mistral.
GLOBALATLAS AI · Infraestructura para Mistral
Infraestructura para Mistral
Mistral 7B y otras versiones de Mistral difieren en tamaño y arquitectura. Selecciona una tarjeta de modelo específica antes de dimensionar hardware.
Combina la arquitectura Mistral con el entorno de ejecución
- 01
Tarjeta de modelo y revisión de peso exactos
- 02
Arquitectura densa o de mezcla de expertos
- 03
Entorno de ejecución, precisión y contexto soportados
Requisitos de configuración
Un modelo denso de 7B en 16 bits tiene aproximadamente 14 GB decimales solo en pesos. Deja memoria para tiempo de ejecución y contexto; no infieras un número de usuarios a partir de esa estimación.