રૂપરેખા
v3 tokenizer સાથેનું સૂચના-સુસંગત ટેક્સ્ટ મોડેલ. ફંક્શન કોલિંગ માટે સુસંગત ચેટ ટેમ્પલેટ અને એપ્લિકેશન-સાઇડ ટૂલ એક્ઝિક્યુશનની જરૂર છે.
- મોડેલ
- mistralai/Mistral-7B-Instruct-v0.3
- પેરામીટર્સ / વેઇટ્સ
- 7.25B · — GB
- વેઇટ ફોર્મેટ
- BF16
- કોન્ટેક્સ્ટ / concurrency
- 8192 / 1
- ચેક્પોઇન્ટ કોન્ટેક્સ્ટ મર્યાદા
- 32768
- અંદાજિત GPU મેમરી
- Requires an updated assessment
- યોજાયેલ RAM / ડિસ્ક
- ≥ 32 GB / ≥ 100 GB
- સર્વિંગ રનટાઇમ
- vLLM · HTTP API
- લાયસન્સ
- Apache-2.0
અંદાજમાં BF16 વેઇટ્સ, KV કૅશ, 2 GB વર્કસ્પેસ અને 15% GPU હેડરૂમ શામેલ છે. RAM અને ડિસ્ક GlobalAtlas આયોજન આવશ્યકતાઓ છે, ડેવલોપરના સત્તાવાર ન્યૂનતમ નથી. ડિસ્ક પ્રકાર, ડ્રાઇવર અને રનટાઇમ ઇન્સ્ટોલેશન પહેલાં પુષ્ટિ કરવામાં આવે છે. 8192-ટોકન સર્વિંગ બજેટમાં ઇનપુટ અને આઉટપુટ શામેલ છે; લાંબા કોન્ટેક્સ્ટ અથવા વધુ એકસાથે વિનંતીઓ માટે કદ બદલવું અને લોડ ટેસ્ટ જરૂરી છે.
મૂળ મોડેલ કાર્ડ