구성
지시 조정 텍스트 모델입니다. 문서 검색에는 별도의 검색/인덱싱 서비스가 필요하며, 이 체크포인트는 이미지와 오디오를 지원하지 않습니다.
- 모델
- Qwen/Qwen2.5-32B-Instruct
- 파라미터 / 가중치
- 32.76B · — GB
- 가중치 형식
- BF16
- 컨텍스트 / 동시성
- 8192 / 1
- 체크포인트 컨텍스트 한도
- 32768
- 예상 GPU 메모리
- Requires an updated assessment
- 계획된 RAM / 디스크
- ≥ 128 GB / ≥ 200 GB
- 서빙 런타임
- vLLM · HTTP API
- 라이선스
- Apache-2.0
추정치에는 BF16 가중치, KV 캐시, 2 GB 작업 공간, 15% GPU 여유분이 포함됩니다. RAM와 디스크는 GlobalAtlas 계획 요구사항이며 개발자의 공식 최소 사양이 아닙니다. 설치 전 디스크 유형, 드라이버, 런타임을 확인합니다. 8192 토큰 서빙 예산에는 입력과 출력이 모두 포함되며, 더 긴 컨텍스트나 더 많은 동시 요청은 용량 조정과 부하 테스트가 필요합니다.
원본 모델 카드