Architektūros sprendimas
Naudokite pasirinktą modelio kortelę dydžiui nustatyti. Atminties įvertinimas, skirtas tankiems 7B svoriams, negali būti pakartotinai naudojamas kitai Mistral versijai.
GLOBALATLAS AI · Infrastruktūra Mistral
Infrastruktūra Mistral
Mistral 7B ir kiti Mistral leidimai skiriasi dydžiu ir architektūra. Pasirinkite konkretų modelio kortelę prieš dydžio nustatymą.
Suderinkite Mistral architektūrą su vykdymo aplinka
- 01
Tiksli modelio kortelė ir svorio versija
- 02
Tankus arba mišrus ekspertų architektūra
- 03
Palaikomas vykdymo laikas, tikslumas ir kontekstas
Reikalavimai konfigūracijai
7B tankus modelis 16 bitų turi apie 14 GB dešimtainių svorių. Palikite atmintį vykdymui ir kontekstui; nesukelkite vartotojų skaičiaus iš šio įvertinimo.