આર્કિટેક્ચર નિર્ણય
સાઇઝિંગ માટે પસંદ કરેલું મોડેલ કાર્ડ ઉપયોગ કરો. ડેન્સ 7B વેઇટ્સ માટેનો મેમરી અંદાજ અલગ Mistral રિલીઝ માટે ફરીથી ઉપયોગ કરી શકાતો નથી.
GLOBALATLAS AI · Mistral માટે ઇન્ફ્રાસ્ટ્રક્ચર
Mistral માટે ઇન્ફ્રાસ્ટ્રક્ચર
Mistral 7B અને અન્ય Mistral રિલીઝ કદ અને આર્કિટેક્ચરમાં ભિન્ન છે. હાર્ડવેરનું કદ નક્કી કરતા પહેલા ચોક્કસ મોડેલ કાર્ડ પસંદ કરો.
Mistral આર્કિટેક્ચરને રનટાઇમ સાથે મેળવો
- 01
સચોટ મોડેલ કાર્ડ અને વજન સંશોધન
- 02
ઘન અથવા મિશ્રણ-ઓફ-એક્સપર્ટ્સ આર્કિટેક્ચર
- 03
સમર્થિત રનટાઇમ, ચોકસાઈ અને સંદર્ભ
રૂપરેખા જરૂરિયાતો
16 બિટ્સમાં 7B ડેન્સ મોડેલમાં લગભગ 14 GB દશાંશ વજન માત્ર હોય છે. રનટાઇમ અને સંદર્ભ માટે મેમરી છોડી દો; આ અંદાજ પરથી વપરાશકર્તા સંખ્યા નક્કી ન કરો.