GLOBALATLAS AI · INFERÈNCIA DEDICADA

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: configuració d’inferència autoallotjada, pesos de BF16, context de 8192 tokens, memòria de GPU i selecció de servidor.

Configuració

Model de text ajustat per instruccions amb el tokenitzador v3. La crida de funcions necessita una plantilla de xat compatible i l’execució d’eines al costat de l’aplicació.

Model: mistralai/Mistral-7B-Instruct-v0.3
Paràmetres / pesos: 7.25B · — GB
Format dels pesos: BF16
Context / concurrència: 8192 / 1
Límit de context del checkpoint: 32768
Memòria estimada de GPU: Requires an updated assessment
RAM / disc planificats: ≥ 32 GB / ≥ 100 GB
Execució de servei: vLLM · HTTP API
Llicència: Apache-2.0

L’estimació inclou pesos de BF16, memòria cau KV, espai de treball de 2 GB i marge de 15% GPU. RAM i disc són requisits de planificació de GlobalAtlas, no els mínims oficials del desenvolupador. El tipus de disc, els controladors i l’execució es confirmen abans de la instal·lació. El pressupost de servei de 8192 tokens inclou entrada i sortida; un context més llarg o més sol·licituds simultànies requereixen redimensionament i una prova de càrrega.

Fitxa original del model

Tria la teva infraestructura

Selecciona el maquinari i després confirma amb un especialista la disponibilitat i la instal·lació del model. La comanda del servidor per si sola no instal·la el model.

Seleccionarem amb tu una configuració compatible per a aquest model.

Sol·licita la configuració completa

Inclou el model, la regió i la càrrega prevista. Els nostres especialistes confirmaran el maquinari, la instal·lació, la protecció d’accés i el preu final.

Parla amb Atlas →

Sol·licita assistència d’un especialista →

Envia els teus requisits als especialistes de GlobalAtlas per a una revisió individual de la configuració. Comprovaran el maquinari, la compatibilitat i les condicions, i després respondran per correu electrònic.