കോൺഫിഗറേഷൻ
v3 ടോക്കനൈസർ ഉപയോഗിച്ചുള്ള നിർദ്ദേശ-പരിശീലിത ടെക്‌സ്‌റ്റ് മോഡൽ. ഫംഗ്ഷൻ കോൾ ചെയ്യുന്നതിന് അനുയോജ്യമായ ചാറ്റ് ടെംപ്ലേറ്റും അപ്ലിക്കേഷൻ വശത്തെ ടൂൾ എക്സിക്യൂഷനും ആവശ്യമാണ്.
- മോഡൽ
- mistralai/Mistral-7B-Instruct-v0.3
- പാരാമീറ്ററുകൾ / വെയിറ്റുകൾ
- 7.25B · — GB
- വെയിറ്റ് ഫോർമാറ്റ്
- BF16
- കോൺടെക്സ്റ്റ് / കോൺകരൻസി
- 8192 / 1
- ചെക്ക്പോയിന്റ് കോൺടെക്സ്റ്റ് പരിധി
- 32768
- അനുമാനിച്ച GPU മെമ്മറി
- Requires an updated assessment
- പ്ലാൻ ചെയ്ത RAM / ഡിസ്ക്
- ≥ 32 GB / ≥ 100 GB
- സർവിംഗ് റൺടൈം
- vLLM · HTTP API
- ലൈസൻസ്
- Apache-2.0
ഈ കണക്കിൽ BF16 വെയിറ്റുകൾ, KV കാഷെ, 2 GB വർക്ക്‌സ്‌പേസ്, 15% GPU ഹെഡ്‌റൂം എന്നിവ ഉൾപ്പെടുന്നു. RAMയും ഡിസ്കും GlobalAtlas പദ്ധതിയിടൽ ആവശ്യകതകളാണ്, ഡെവലപ്പറുടെ ഔദ്യോഗിക കുറഞ്ഞ പരിധികളല്ല. ഇൻസ്റ്റലേഷനിന് മുമ്പ് ഡിസ്ക് തരം, ഡ്രൈവർകൾ, റൺടൈം എന്നിവ സ്ഥിരീകരിക്കും. 8192-ടോക്കൺ സർവിംഗ് ബജറ്റിൽ ഇൻപുട്ടും ഔട്ട്പുട്ടും ഉൾപ്പെടുന്നു; ദീർഘമായ കോൺടെക്സ്റ്റോ കൂടുതൽ സമകാലിക അഭ്യർത്ഥനകളോ വലുപ്പമാറ്റവും ലോഡ് ടെസ്റ്റും ആവശ്യപ്പെടും.
യഥാർത്ഥ മോഡൽ കാർഡ്