കോൺഫിഗറേഷൻ
നിർദ്ദേശ-പരിശീലിത ടെക്‌സ്‌റ്റ് മോഡൽ. പ്രമാണ തിരയൽ നടത്താൻ വേർതിരിച്ച റിട്രീവൽ/ഇൻഡക്സിംഗ് സേവനം ആവശ്യമാണ്; ചിത്രങ്ങളും ഓഡിയോയും ഈ ചെക്ക്പോയിന്റിൽ പിന്തുണയ്ക്കുന്നില്ല.
- മോഡൽ
- Qwen/Qwen2.5-14B-Instruct
- പാരാമീറ്ററുകൾ / വെയിറ്റുകൾ
- 14.77B · — GB
- വെയിറ്റ് ഫോർമാറ്റ്
- BF16
- കോൺടെക്സ്റ്റ് / കോൺകരൻസി
- 8192 / 1
- ചെക്ക്പോയിന്റ് കോൺടെക്സ്റ്റ് പരിധി
- 32768
- അനുമാനിച്ച GPU മെമ്മറി
- Requires an updated assessment
- പ്ലാൻ ചെയ്ത RAM / ഡിസ്ക്
- ≥ 64 GB / ≥ 150 GB
- സർവിംഗ് റൺടൈം
- vLLM · HTTP API
- ലൈസൻസ്
- Apache-2.0
ഈ കണക്കിൽ BF16 വെയിറ്റുകൾ, KV കാഷെ, 2 GB വർക്ക്‌സ്‌പേസ്, 15% GPU ഹെഡ്‌റൂം എന്നിവ ഉൾപ്പെടുന്നു. RAMയും ഡിസ്കും GlobalAtlas പദ്ധതിയിടൽ ആവശ്യകതകളാണ്, ഡെവലപ്പറുടെ ഔദ്യോഗിക കുറഞ്ഞ പരിധികളല്ല. ഇൻസ്റ്റലേഷനിന് മുമ്പ് ഡിസ്ക് തരം, ഡ്രൈവർകൾ, റൺടൈം എന്നിവ സ്ഥിരീകരിക്കും. 8192-ടോക്കൺ സർവിംഗ് ബജറ്റിൽ ഇൻപുട്ടും ഔട്ട്പുട്ടും ഉൾപ്പെടുന്നു; ദീർഘമായ കോൺടെക്സ്റ്റോ കൂടുതൽ സമകാലിക അഭ്യർത്ഥനകളോ വലുപ്പമാറ്റവും ലോഡ് ടെസ്റ്റും ആവശ്യപ്പെടും.
യഥാർത്ഥ മോഡൽ കാർഡ്