Διαμόρφωση
Ένα ξεχωριστό μοντέλο συλλογισμού DeepSeek, αποσταγμένο με χρήση αποτελεσμάτων DeepSeek-R1 πάνω σε βάση Qwen2.5-32B. Δεν είναι το πλήρες μοντέλο 671B DeepSeek-R1 ούτε ένα πακέτο δύο μοντέλων.
- Μοντέλο
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- Παράμετροι / βάρη
- 32.76B · — GB
- Μορφή βαρών
- BF16
- Πλαίσιο / ταυτόχρονη εκτέλεση
- 8192 / 1
- Όριο περιεχομένου checkpoint
- 131072
- Εκτιμώμενη μνήμη GPU
- Requires an updated assessment
- Σχεδιαζόμενη RAM / δίσκος
- ≥ 128 GB / ≥ 200 GB
- Χρόνος εκτέλεσης εξυπηρέτησης
- vLLM · HTTP API
- Άδεια
- MIT; base model Apache-2.0
Η εκτίμηση περιλαμβάνει βάρη BF16, cache KV, χώρο εργασίας 2 GB και περιθώριο 15% GPU. Η μνήμη RAM και ο δίσκος είναι απαιτήσεις σχεδιασμού GlobalAtlas, όχι τα επίσημα ελάχιστα του developer. Ο τύπος δίσκου, τα προγράμματα οδήγησης και ο χρόνος εκτέλεσης επιβεβαιώνονται πριν από την εγκατάσταση. Ο προϋπολογισμός εξυπηρέτησης 8192 tokens περιλαμβάνει είσοδο και έξοδο· μεγαλύτερο πλαίσιο ή περισσότερα ταυτόχρονα αιτήματα απαιτούν αλλαγή μεγέθους και δοκιμή φορτίου.
Αρχική κάρτα μοντέλου