રૂપરેખા
સૂચના-સુસંગત ટેક્સ્ટ મોડેલ. દસ્તાવેજ શોધ માટે અલગ retrieval/indexing સેવા જરૂરી છે; ચિત્રો અને ઑડિયો આ ચેક્પોઇન્ટ દ્વારા સમર્થિત નથી.
- મોડેલ
- Qwen/Qwen2.5-32B-Instruct
- પેરામીટર્સ / વેઇટ્સ
- 32.76B · — GB
- વેઇટ ફોર્મેટ
- BF16
- કોન્ટેક્સ્ટ / concurrency
- 8192 / 1
- ચેક્પોઇન્ટ કોન્ટેક્સ્ટ મર્યાદા
- 32768
- અંદાજિત GPU મેમરી
- Requires an updated assessment
- યોજાયેલ RAM / ડિસ્ક
- ≥ 128 GB / ≥ 200 GB
- સર્વિંગ રનટાઇમ
- vLLM · HTTP API
- લાયસન્સ
- Apache-2.0
અંદાજમાં BF16 વેઇટ્સ, KV કૅશ, 2 GB વર્કસ્પેસ અને 15% GPU હેડરૂમ શામેલ છે. RAM અને ડિસ્ક GlobalAtlas આયોજન આવશ્યકતાઓ છે, ડેવલોપરના સત્તાવાર ન્યૂનતમ નથી. ડિસ્ક પ્રકાર, ડ્રાઇવર અને રનટાઇમ ઇન્સ્ટોલેશન પહેલાં પુષ્ટિ કરવામાં આવે છે. 8192-ટોકન સર્વિંગ બજેટમાં ઇનપુટ અને આઉટપુટ શામેલ છે; લાંબા કોન્ટેક્સ્ટ અથવા વધુ એકસાથે વિનંતીઓ માટે કદ બદલવું અને લોડ ટેસ્ટ જરૂરી છે.
મૂળ મોડેલ કાર્ડ