રૂપરેખા
DeepSeek-R1 આઉટપુટ્સનો ઉપયોગ કરીને Qwen2.5-32B બેઝ પર ડિસ્ટિલ કરાયેલ અલગ DeepSeek રીઝનિંગ મોડેલ. આ સંપૂર્ણ 671B DeepSeek-R1 મોડેલ કે બે મોડેલોના બંડલ નથી.
- મોડેલ
- deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
- પેરામીટર્સ / વેઇટ્સ
- 32.76B · — GB
- વેઇટ ફોર્મેટ
- BF16
- કોન્ટેક્સ્ટ / concurrency
- 8192 / 1
- ચેક્પોઇન્ટ કોન્ટેક્સ્ટ મર્યાદા
- 131072
- અંદાજિત GPU મેમરી
- Requires an updated assessment
- યોજાયેલ RAM / ડિસ્ક
- ≥ 128 GB / ≥ 200 GB
- સર્વિંગ રનટાઇમ
- vLLM · HTTP API
- લાયસન્સ
- MIT; બેઝ મોડેલ Apache-2.0
અંદાજમાં BF16 વેઇટ્સ, KV કૅશ, 2 GB વર્કસ્પેસ અને 15% GPU હેડરૂમ શામેલ છે. RAM અને ડિસ્ક GlobalAtlas આયોજન આવશ્યકતાઓ છે, ડેવલોપરના સત્તાવાર ન્યૂનતમ નથી. ડિસ્ક પ્રકાર, ડ્રાઇવર અને રનટાઇમ ઇન્સ્ટોલેશન પહેલાં પુષ્ટિ કરવામાં આવે છે. 8192-ટોકન સર્વિંગ બજેટમાં ઇનપુટ અને આઉટપુટ શામેલ છે; લાંબા કોન્ટેક્સ્ટ અથવા વધુ એકસાથે વિનંતીઓ માટે કદ બદલવું અને લોડ ટેસ્ટ જરૂરી છે.
મૂળ મોડેલ કાર્ડ