GLOBALATLAS AI · Dedikált inferencia

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: saját hosztolású következtetési konfiguráció, BF16 súlyok, 8192 tokenes kontextus, GPU memória és szerverkiválasztás.

Konfiguráció

Utasításokra finomhangolt szöveges modell a v3 tokenizátorral. A függvényhíváshoz kompatibilis chat sablon és alkalmazásoldali eszközfuttatás szükséges.

Modell: mistralai/Mistral-7B-Instruct-v0.3
Paraméterek / súlyok: 7.25B · — GB
Súlyformátum: BF16
Kontextus / párhuzamosság: 8192 / 1
Checkpont kontextushatár: 32768
Becsült GPU memória: Requires an updated assessment
Tervezett RAM / lemez: ≥ 32 GB / ≥ 100 GB
Kiszolgálási futtatókörnyezet: vLLM · HTTP API
Licenc: Apache-2.0

A becslés tartalmazza az BF16 súlyokat, a KV gyorsítótárat, 2 GB munkaterületet és 15% GPU tartalékot. Az RAM és a lemez GlobalAtlas tervezési követelmények, nem a fejlesztő hivatalos minimumai. A lemeztípus, az illesztőprogramok és a futtatókörnyezet a telepítés előtt megerősítésre kerül. A 8192 tokenes kiszolgálási költségkeret tartalmazza a bemenetet és a kimenetet; a hosszabb kontextus vagy több egyidejű kérés átméretezést és terheléses tesztet igényel.

Eredeti modellkártya

Válassza ki az infrastruktúráját

Válassza ki a hardvert, majd egy szakértővel erősítse meg az elérhetőséget és a modelltelepítést. A szerverrendelés önmagában nem telepíti a modellt.

Kiválasztunk Önnel együtt egy ehhez a modellhez kompatibilis konfigurációt.

Kérje a teljes beállítást

Adja meg a modellt, a régiót és a várható terhelést. Szakértőink megerősítik a hardvert, a telepítést, a hozzáférés-védelmet és a végső árat.

Beszéljen az Atlasszal →

Kérjen szakértői segítséget →

Küldje el igényeit az GlobalAtlas szakértőinek egyedi konfigurációs áttekintésre. Ellenőrzik a hardvert, az összeférhetőséget és a feltételeket, majd e-mailben válaszolnak.