구성
v3 토크나이저를 사용하는 지시 조정 텍스트 모델입니다. 함수 호출에는 호환되는 채팅 템플릿과 애플리케이션 측 도구 실행이 필요합니다.
- 모델
- mistralai/Mistral-7B-Instruct-v0.3
- 파라미터 / 가중치
- 7.25B · — GB
- 가중치 형식
- BF16
- 컨텍스트 / 동시성
- 8192 / 1
- 체크포인트 컨텍스트 한도
- 32768
- 예상 GPU 메모리
- Requires an updated assessment
- 계획된 RAM / 디스크
- ≥ 32 GB / ≥ 100 GB
- 서빙 런타임
- vLLM · HTTP API
- 라이선스
- Apache-2.0
추정치에는 BF16 가중치, KV 캐시, 2 GB 작업 공간, 15% GPU 여유분이 포함됩니다. RAM와 디스크는 GlobalAtlas 계획 요구사항이며 개발자의 공식 최소 사양이 아닙니다. 설치 전 디스크 유형, 드라이버, 런타임을 확인합니다. 8192 토큰 서빙 예산에는 입력과 출력이 모두 포함되며, 더 긴 컨텍스트나 더 많은 동시 요청은 용량 조정과 부하 테스트가 필요합니다.
원본 모델 카드