Quyết định kiến trúc
Không kích thước toàn bộ dòng Llama từ ví dụ 8B. Bộ đệm ngữ cảnh và chi phí runtime là bổ sung cho bộ nhớ trọng lượng.
GLOBALATLAS AI · Hạ tầng cho Llama
Hạ tầng cho Llama
Llama là họ các mô hình. Llama 3.1 8B là ví dụ về mô hình 8 tỷ tham số, không phải cam kết về dung lượng cho mọi phiên bản Llama.
Chuẩn bị hồ sơ triển khai Llama
- 01
Phiên bản mô hình, kích thước và giấy phép
- 02
Chính xác và bộ nhớ chạy vượt quá trọng số
- 03
Mẫu trò chuyện, ngữ cảnh và câu hỏi đánh giá
Yêu cầu cấu hình
Đối với trọng số dày đặc 8B ở 16 bit, ước lượng trọng số chỉ là 16 GB thập phân. Thời gian chạy và bộ đệm KV cần bộ nhớ bổ sung; kiểm tra giấy phép mô hình.