GLOBALATLAS AI · WYDZIELONY WNIOSKOWANIE

Mistral-7B-Instruct-v0.3

Mistral-7B-Instruct-v0.3: konfiguracja inferencji hostowanej samodzielnie, wagi BF16, kontekst 8192 tokenów, pamięć GPU i wybór serwera.

Konfiguracja

Model tekstowy dostrojony do instrukcji z tokenizerem v3. Wywoływanie funkcji wymaga zgodnego szablonu czatu i wykonania narzędzi po stronie aplikacji.

Model: mistralai/Mistral-7B-Instruct-v0.3
Parametry / wagi: 7.25B · — GB
Format wag: BF16
Kontekst / współbieżność: 8192 / 1
Limit kontekstu punktu kontrolnego: 32768
Szacowana pamięć GPU: Requires an updated assessment
Planowane RAM / dysk: ≥ 32 GB / ≥ 100 GB
Środowisko wykonawcze obsługi: vLLM · HTTP API
Licencja: Apache-2.0

Szacunek obejmuje wagi BF16, cache KV, obszar roboczy 2 GB oraz zapas 15% GPU. RAM i dysk są wymaganiami planowanymi GlobalAtlas, a nie oficjalnym minimum dewelopera. Typ dysku, sterowniki i środowisko wykonawcze są potwierdzane przed instalacją. Budżet obsługi dla 8192 tokenów obejmuje wejście i wyjście; dłuższy kontekst lub większa liczba jednoczesnych żądań wymaga zmiany rozmiaru i testu obciążeniowego.

Oryginalna karta modelu

Wybierz swoją infrastrukturę

Najpierw wybierz sprzęt, a następnie potwierdź dostępność i instalację modelu ze specjalistą. Samo zamówienie serwera nie instaluje modelu.

Wybierzemy z Tobą zgodną konfigurację dla tego modelu.

Poproś o pełną konfigurację

Uwzględnij model, region i oczekiwane obciążenie. Nasi specjaliści potwierdzą sprzęt, instalację, ochronę dostępu i cenę końcową.

Omów z Atlasem →

Poproś o pomoc specjalisty →

Prześlij wymagania do specjalistów GlobalAtlas w celu indywidualnego przeglądu konfiguracji. Sprawdzą sprzęt, zgodność i warunki, a następnie odpowiedzą e-mailem.