구성
DeepSeek-R1 출력물을 바탕으로 Qwen2.5-14B 기반에 증류한 별도의 DeepSeek 추론 모델입니다. 전체 671B DeepSeek-R1 모델도, 두 모델의 묶음도 아닙니다.
- 모델
- deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
- 파라미터 / 가중치
- 14.77B · — GB
- 가중치 형식
- BF16
- 컨텍스트 / 동시성
- 8192 / 1
- 체크포인트 컨텍스트 한도
- 131072
- 예상 GPU 메모리
- Requires an updated assessment
- 계획된 RAM / 디스크
- ≥ 64 GB / ≥ 150 GB
- 서빙 런타임
- vLLM · HTTP API
- 라이선스
- MIT; 베이스 모델 Apache-2.0
추정치에는 BF16 가중치, KV 캐시, 2 GB 작업 공간, 15% GPU 여유분이 포함됩니다. RAM와 디스크는 GlobalAtlas 계획 요구사항이며 개발자의 공식 최소 사양이 아닙니다. 설치 전 디스크 유형, 드라이버, 런타임을 확인합니다. 8192 토큰 서빙 예산에는 입력과 출력이 모두 포함되며, 더 긴 컨텍스트나 더 많은 동시 요청은 용량 조정과 부하 테스트가 필요합니다.
원본 모델 카드