Quyết định kiến trúc
Máy chủ GPU và điểm cuối quản lý là các sản phẩm khác nhau. Yêu cầu phải ghi rõ mô hình hoạt động và đơn vị đo tiêu thụ.
GLOBALATLAS AI · Phân tích AI
Phân tích AI
Phân tích dự đoán thực thi một mô hình đã huấn luyện. Kích thước đầu vào, phân lô và độ dài ngữ cảnh xác định bộ nhớ làm việc cũng như trọng số mô hình.
Độ trễ hay thông lượng theo lô?
- 01
Yêu cầu tương tác: đo độ trễ phản hồi đầu tiên
- 02
Công việc theo lô: đo lường đầu vào hoàn thành theo khoảng thời gian
- 03
Theo dõi đỉnh bộ nhớ cho độ dài đầu vào đã chọn
Yêu cầu cấu hình
Quyết định giữa VM GPU do bạn vận hành và điểm cuối được quản lý. Finder công khai hiện kiểm tra các đề nghị VM GPU, không phải SLA suy luận được quản lý.