Decizie de arhitectură
Versiuni distilate și modelul complet necesită arhitecturi diferite. Salvează identificatorul exact al modelului cu cererea ta de infrastructură.
GLOBALATLAS AI · Infrastructură pentru DeepSeek
DeepSeek-R1 și modelele sale distilate sunt sarcini de lucru diferite. Versiunile distilate variază de la 1.5B la 70B parametri; modelul complet necesită o evaluare separată a dimensiunii.
Model complet sau versiune distilată
Formatul greutăților și cadrul de execuție
Bugetul contextului și concurența cererilor
Versiuni distilate și modelul complet necesită arhitecturi diferite. Salvează identificatorul exact al modelului cu cererea ta de infrastructură.
Numește versiunea exactă și precizia. “DeepSeek pentru 50 utilizatori” nu este suficient pentru a promite o configurație GPU sau timp de răspuns.