Cấu hình
Mô hình văn bản tinh chỉnh theo chỉ dẫn với bộ mã hóa v3. Gọi hàm cần một chat template tương thích và việc thực thi công cụ ở phía ứng dụng.
- Mô hình
- mistralai/Mistral-7B-Instruct-v0.3
- Thông số / trọng số
- 7.25B · — GB
- Định dạng trọng số
- BF16
- Ngữ cảnh / đồng thời
- 8192 / 1
- Giới hạn ngữ cảnh checkpoint
- 32768
- Bộ nhớ GPU ước tính
- Requires an updated assessment
- RAM / đĩa đã lên kế hoạch
- ≥ 32 GB / ≥ 100 GB
- Thời gian chạy phục vụ
- vLLM · HTTP API
- Giấy phép
- Apache-2.0
Ước tính bao gồm trọng số BF16, bộ đệm KV cache, không gian làm việc 2 GB và độ dự phòng 15% GPU. RAM và dung lượng đĩa là các yêu cầu lập kế hoạch GlobalAtlas, không phải mức tối thiểu chính thức của nhà phát triển. Loại đĩa, driver và thời gian chạy sẽ được xác nhận trước khi cài đặt. Ngân sách phục vụ 8192 token bao gồm đầu vào và đầu ra; ngữ cảnh dài hơn hoặc nhiều yêu cầu đồng thời hơn sẽ cần thay đổi kích thước và kiểm tra tải.
Thẻ mô hình gốc