આર્કિટેક્ચર નિર્ણય
Llama પરિવારને 8B ઉદાહરણ પરથી સંપૂર્ણ રીતે માપશો નહીં. કન્ટેક્સ્ટ કેશ અને રનટાઇમ ઓવરહેડ વજન મેમરી ઉપરાંત છે.
GLOBALATLAS AI · Llama માટે ઇન્ફ્રાસ્ટ્રક્ચર
Llama માટે ઇન્ફ્રાસ્ટ્રક્ચર
Llama મોડેલ્સનું એક પરિવાર છે. Llama 3.1 8B એ 8-બિલિયન-પેરામીટર મોડેલનું ઉદાહરણ છે, દરેક Llama રિલીઝ માટે ક્ષમતા વચન નથી.
Llama ડિપ્લોયમેન્ટ પ્રોફાઇલ તૈયાર કરો
- 01
મોડેલ સંસ્કરણ, કદ અને લાઇસન્સ
- 02
પ્રિસિઝન અને વજનોથી પરે રનટાઇમ મેમરી
- 03
ચેટ ટેમ્પલેટ, સંદર્ભ અને મૂલ્યાંકન પ્રોમ્પ્ટ્સ
રૂપરેખા જરૂરિયાતો
16 બિટ્સ પર 8B ડેન્સ વેઇટ્સ માટે, વેઇટ-ઓનલી અંદાજ 16 GB દશાંશ છે. રનટાઇમ અને KV કેશ માટે વધારાની મેમરી જરૂરી છે; મોડેલ લાઇસેન્સિંગ તપાસો.