Arkitekturbeslut
Använd den valda modellkortet för storleksbestämning. En minnesuppskattning för täta 7B-vikter kan inte återanvändas för en annan Mistral-version.
GLOBALATLAS AI · Infrastruktur för Mistral
Infrastruktur för Mistral
Mistral 7B och andra Mistral-versioner skiljer sig i storlek och arkitektur. Välj en specifik modell innan du storleksbestämmer hårdvara.
Matcha Mistral-arkitekturen med runtime
- 01
Exakt modellkort och viktversion
- 02
Tät eller blandad arkitektur av experter
- 03
Stödd runtime, precision och kontext
Krav på konfiguration
En tät modell på 7B med 16 bit har ungefär 14 GB decimala vikter. Lämna minne för körning och kontext; dra inte användarantalet från den uppskattningen.