Decyzja architektoniczna
Użyj wybranej karty modelu do rozmiaru. Szacunkowa pamięć dla gęstych wag 7B nie może być używana dla innego wydania Mistral.
GLOBALATLAS AI · Infrastruktura dla Mistral
Infrastruktura dla Mistral
Mistral 7B i inne wersje Mistral różnią się rozmiarem i architekturą. Wybierz konkretną kartę modelu przed rozmiarem sprzętu.
Dopasuj architekturę Mistral do środowiska uruchomieniowego
- 01
Dokładna karta modelu i wersja wag
- 02
Architektura gęsta lub mieszana ekspertów
- 03
Obsługiwany czas uruchomienia, precyzja i kontekst
Wymagania dotyczące konfiguracji
Gęsty model 7B na 16 bitach ma około 14 GB wag w formacie dziesiętnym. Zostaw pamięć na runtime i kontekst; nie wyciągaj liczby użytkowników z tego oszacowania.