Quyết định kiến trúc
Sử dụng thẻ mô hình đã chọn để xác định kích cỡ. Ước lượng bộ nhớ cho trọng số 7B dày đặc không thể dùng lại cho phiên bản Mistral khác.
GLOBALATLAS AI · Hạ tầng cho Mistral
Hạ tầng cho Mistral
Mistral 7B và các phiên bản Mistral khác khác nhau về kích thước và kiến trúc. Chọn mô hình cụ thể trước khi xác định phần cứng.
Phù hợp kiến trúc Mistral với runtime
- 01
Phiên bản chính xác của mô hình và sửa đổi trọng lượng
- 02
Kiến trúc dày đặc hoặc kiến trúc hỗn hợp các chuyên gia
- 03
Thời gian chạy, độ chính xác và ngữ cảnh được hỗ trợ
Yêu cầu cấu hình
Mô hình dày đặc 7B ở 16 bit có khoảng 14 GB trọng số. Dành bộ nhớ cho thời gian chạy và ngữ cảnh; không suy ra số người dùng từ ước lượng đó.