കോൺഫിഗറേഷൻ
DeepSeek-R1 ഔട്ട്പുട്ടുകൾ Qwen2.5-32B ബേസിൽ ഉപയോഗിച്ച് ഡിസ്റ്റിൽ ചെയ്ത ഒരു വേർതിരിച്ച DeepSeek റീസണിംഗ് മോഡൽ. ഇത് പൂർണ്ണമായ 671B DeepSeek-R1 മോഡലോ രണ്ട് മോഡലുകളുടെ ഒരു ബണ്ടിലോ അല്ല.
- മോഡൽ
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- പാരാമീറ്ററുകൾ / വെയിറ്റുകൾ
- 32.76B · — GB
- വെയിറ്റ് ഫോർമാറ്റ്
- BF16
- കോൺടെക്സ്റ്റ് / കോൺകരൻസി
- 8192 / 1
- ചെക്ക്പോയിന്റ് കോൺടെക്സ്റ്റ് പരിധി
- 131072
- അനുമാനിച്ച GPU മെമ്മറി
- Requires an updated assessment
- പ്ലാൻ ചെയ്ത RAM / ഡിസ്ക്
- ≥ 128 GB / ≥ 200 GB
- സർവിംഗ് റൺടൈം
- vLLM · HTTP API
- ലൈസൻസ്
- MIT; ബേസ് മോഡൽ Apache-2.0
ഈ കണക്കിൽ BF16 വെയിറ്റുകൾ, KV കാഷെ, 2 GB വർക്ക്‌സ്‌പേസ്, 15% GPU ഹെഡ്‌റൂം എന്നിവ ഉൾപ്പെടുന്നു. RAMയും ഡിസ്കും GlobalAtlas പദ്ധതിയിടൽ ആവശ്യകതകളാണ്, ഡെവലപ്പറുടെ ഔദ്യോഗിക കുറഞ്ഞ പരിധികളല്ല. ഇൻസ്റ്റലേഷനിന് മുമ്പ് ഡിസ്ക് തരം, ഡ്രൈവർകൾ, റൺടൈം എന്നിവ സ്ഥിരീകരിക്കും. 8192-ടോക്കൺ സർവിംഗ് ബജറ്റിൽ ഇൻപുട്ടും ഔട്ട്പുട്ടും ഉൾപ്പെടുന്നു; ദീർഘമായ കോൺടെക്സ്റ്റോ കൂടുതൽ സമകാലിക അഭ്യർത്ഥനകളോ വലുപ്പമാറ്റവും ലോഡ് ടെസ്റ്റും ആവശ്യപ്പെടും.
യഥാർത്ഥ മോഡൽ കാർഡ്