Cấu hình
Mô hình văn bản tinh chỉnh theo chỉ dẫn. Tìm kiếm tài liệu cần một dịch vụ truy xuất/lập chỉ mục riêng; checkpoint này không hỗ trợ hình ảnh và âm thanh.
- Mô hình
- Qwen/Qwen2.5-32B-Instruct
- Thông số / trọng số
- 32.76B · — GB
- Định dạng trọng số
- BF16
- Ngữ cảnh / đồng thời
- 8192 / 1
- Giới hạn ngữ cảnh checkpoint
- 32768
- Bộ nhớ GPU ước tính
- Requires an updated assessment
- RAM / đĩa đã lên kế hoạch
- ≥ 128 GB / ≥ 200 GB
- Thời gian chạy phục vụ
- vLLM · HTTP API
- Giấy phép
- Apache-2.0
Ước tính bao gồm trọng số BF16, bộ đệm KV cache, không gian làm việc 2 GB và độ dự phòng 15% GPU. RAM và dung lượng đĩa là các yêu cầu lập kế hoạch GlobalAtlas, không phải mức tối thiểu chính thức của nhà phát triển. Loại đĩa, driver và thời gian chạy sẽ được xác nhận trước khi cài đặt. Ngân sách phục vụ 8192 token bao gồm đầu vào và đầu ra; ngữ cảnh dài hơn hoặc nhiều yêu cầu đồng thời hơn sẽ cần thay đổi kích thước và kiểm tra tải.
Thẻ mô hình gốc