아키텍처 결정
선택한 모델 카드를 크기 조정에 사용하세요. 밀집 7B 가중치의 메모리 추정치는 다른 Mistral 릴리스에 재사용할 수 없습니다.
GLOBALATLAS AI · Mistral용 인프라
Mistral용 인프라
Mistral 7B 및 기타 Mistral 릴리스는 크기와 아키텍처가 다릅니다. 하드웨어 크기 조정을 위해 특정 모델 카드를 선택하세요.
Mistral 아키텍처를 런타임에 맞게 조정
- 01
정확한 모델 카드 및 가중치 버전
- 02
집중형 또는 전문가 혼합 아키텍처
- 03
지원되는 런타임, 정밀도 및 컨텍스트
구성 요구 사항
16비트로 7B 밀집 모델은 약 14 GB의 가중치만을 포함합니다. 런타임과 컨텍스트를 위한 메모리를 남기고, 사용자 수는 해당 추정치로 유추하지 마십시오.