GLOBALATLAS AI · INFERENȚĂ DEDICATĂ

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: configurație de inferență găzduită local, greutăți BF16, context de 8192 tokeni, memorie GPU și selecție de server.

Configurație

Model text ajustat pentru instrucțiuni, cu tokenizerul v3. Apelarea funcțiilor necesită un șablon de chat compatibil și executarea instrumentelor în aplicație.

Model: mistralai/Mistral-7B-Instruct-v0.3
Parametri / greutăți: 7.25B · — GB
Formatul greutăților: BF16
Context / concurență: 8192 / 1
Limită de context a checkpointului: 32768
Memorie GPU estimată: Requires an updated assessment
RAM / disc planificate: ≥ 32 GB / ≥ 100 GB
Rulare de servire: vLLM · HTTP API
Licență: Apache-2.0

Estimarea include greutățile BF16, cache-ul KV, spațiul de lucru de 2 GB și marja de siguranță 15% GPU. RAM și discul sunt cerințe de planificare GlobalAtlas, nu minimele oficiale ale dezvoltatorului. Tipul discului, driverele și runtime-ul sunt confirmate înainte de instalare. Bugetul de servire de 8192 tokeni include intrarea și ieșirea; un context mai lung sau mai multe solicitări simultane necesită redimensionare și un test de încărcare.

Cardul original al modelului

Alegeți infrastructura dvs.

Selectați hardware-ul, apoi confirmați disponibilitatea și instalarea modelului cu un specialist. Comanda de server singură nu instalează modelul.

Vom selecta împreună o configurație compatibilă pentru acest model.

Solicitați configurarea completă

Includeți modelul, regiunea și sarcina așteptată. Specialiștii noștri vor confirma hardware-ul, instalarea, protecția accesului și prețul final.

Discutați cu Atlas →

Solicitați asistență de specialitate →

Trimiteți cerințele dvs. specialiștilor GlobalAtlas pentru o analiză individuală a configurației. Ei vor verifica hardware-ul, compatibilitatea și termenii, apoi vor răspunde prin email.