Cấu hình
Một mô hình suy luận DeepSeek riêng biệt, được tinh giản bằng đầu ra DeepSeek-R1 trên nền tảng Qwen2.5-32B. Đây không phải là mô hình 671B DeepSeek-R1 đầy đủ hay một gói gồm hai mô hình.
- Mô hình
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Thông số / trọng số
- 32.76B · — GB
- Định dạng trọng số
- BF16
- Ngữ cảnh / đồng thời
- 8192 / 1
- Giới hạn ngữ cảnh checkpoint
- 131072
- Bộ nhớ GPU ước tính
- Requires an updated assessment
- RAM / đĩa đã lên kế hoạch
- ≥ 128 GB / ≥ 200 GB
- Thời gian chạy phục vụ
- vLLM · HTTP API
- Giấy phép
- MIT; mô hình nền Apache-2.0
Ước tính bao gồm trọng số BF16, bộ đệm KV cache, không gian làm việc 2 GB và độ dự phòng 15% GPU. RAM và dung lượng đĩa là các yêu cầu lập kế hoạch GlobalAtlas, không phải mức tối thiểu chính thức của nhà phát triển. Loại đĩa, driver và thời gian chạy sẽ được xác nhận trước khi cài đặt. Ngân sách phục vụ 8192 token bao gồm đầu vào và đầu ra; ngữ cảnh dài hơn hoặc nhiều yêu cầu đồng thời hơn sẽ cần thay đổi kích thước và kiểm tra tải.
Thẻ mô hình gốc