GLOBALATLAS AI · DEDIKOVANÁ INFERENCIA

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: vlastná konfigurácia inferencie, váhy BF16, kontext 8192 tokenov, pamäť GPU a výber servera.

Konfigurácia

Textový model doladený na inštrukcie s tokenizérom v3. Volanie funkcií vyžaduje kompatibilnú chat šablónu a vykonávanie nástrojov na strane aplikácie.

Model: mistralai/Mistral-7B-Instruct-v0.3
Parametre / váhy: 7.25B · — GB
Formát váh: BF16
Kontext / súbežnosť: 8192 / 1
Limit kontextu checkpointu: 32768
Odhadovaná pamäť GPU: Requires an updated assessment
Plánované RAM / disk: ≥ 32 GB / ≥ 100 GB
Serving runtime: vLLM · HTTP API
Licencia: Apache-2.0

Odhad zahŕňa váhy BF16, KV cache, pracovný priestor 2 GB a rezervu 15% GPU. RAM a disk sú plánovacími požiadavkami GlobalAtlas, nie oficiálnymi minimami vývojára. Typ disku, ovládače a runtime sa potvrdzujú pred inštaláciou. Serving rozpočet pre 8192 tokenov zahŕňa vstup aj výstup; dlhší kontext alebo viac súbežných požiadaviek si vyžaduje zmenu veľkosti a záťažový test.

Pôvodná karta modelu

Vyberte svoju infraštruktúru

Najprv vyberte hardvér a potom so špecialistom potvrďte dostupnosť a inštaláciu modelu. Samotná objednávka servera model nenainštaluje.

Pre tento model s vami vyberieme kompatibilnú konfiguráciu.

Požiadať o kompletné nastavenie

Uveďte model, región a očakávané zaťaženie. Naši špecialisti potvrdia hardvér, inštaláciu, ochranu prístupu aj konečnú cenu.

Prebrať s Atlasom →

Požiadať o pomoc špecialistu →

Pošlite svoje požiadavky špecialistom GlobalAtlas na individuálne posúdenie konfigurácie. Skontrolujú hardvér, kompatibilitu a podmienky, potom odpovedia e-mailom.