આર્કિટેક્ચર નિર્ણય
GPU સર્વર અને મેનેજ્ડ એન્ડપોઈન્ટ અલગ ઉત્પાદનો છે. વિનંતીમાં ઓપરેટિંગ મોડેલ અને વપરાશ માપવા માટેની એકમનું નામ આપવું જરૂરી છે.
GLOBALATLAS AI · AI અનુમાન
AI ઇન્ફરન્સ
અનુમાન તાલીમપ્રાપ્ત મોડેલ ચલાવે છે. ઇનપુટ કદ, બેચિંગ અને સંદર્ભ લંબાઈ કાર્યકારી મેમરી તેમજ મોડેલ વેઇટ્સ નક્કી કરે છે.
લેટન્સી કે બેચ થ્રુપુટ?
- 01
ઇન્ટરએક્ટિવ વિનંતીઓ: પ્રથમ પ્રતિસાદ વિલંબ માપો
- 02
બેચ નોકરીઓ: સમય અંતરાલમાં પૂર્ણ થયેલા ઇનપુટ માપો
- 03
પસંદ કરેલા ઇનપુટ લંબાઈ માટે પીક મેમરી ટ્રેક કરો
રૂપરેખા જરૂરિયાતો
તમે ચલાવતા GPU VM અને મેનેજ્ડ એન્ડપોઈન્ટ વચ્ચે પસંદગી કરો. જાહેર ફાઇન્ડર હાલમાં GPU VM ઓફર્સ તપાસે છે, મેનેજ્ડ ઇન્ફરન્સ SLA નહીં.