ਵਿਧਾਨ-ਸੰਰਚਨਾ ਫੈਸਲਾ
GPU ਸਰਵਰ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਐਂਡਪੌਇੰਟ ਵੱਖ-ਵੱਖ ਉਤਪਾਦ ਹਨ। ਬੇਨਤੀ ਵਿੱਚ ਚਾਲੂ ਮਾਡਲ ਅਤੇ ਖਪਤ ਮਾਪਣ ਲਈ ਵਰਤੀ ਜਾਣ ਵਾਲੀ ਇਕਾਈ ਦਾ ਨਾਮ ਲਾਜ਼ਮੀ ਹੈ।
GLOBALATLAS AI · AI ਇਨਫਰੈਂਸ
AI ਇਨਫਰੈਂਸ
ਅਨੁਮਾਨ ਇੱਕ ਪ੍ਰਸ਼ਿਖਤ ਮਾਡਲ ਚਲਾਉਂਦਾ ਹੈ। ਇਨਪੁੱਟ ਆਕਾਰ, ਬੈਚਿੰਗ ਅਤੇ ਸੰਦਰਭ ਲੰਬਾਈ ਕੰਮ ਕਰਨ ਵਾਲੀ ਮੈਮੋਰੀ ਅਤੇ ਮਾਡਲ ਵਜ਼ਨ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਨ।
ਲੇਟੈਂਸੀ ਜਾਂ ਬੈਚ ਥਰੂਪੁੱਟ?
- 01
ਇੰਟਰਐਕਟਿਵ ਬੇਨਤੀਆਂ: ਪਹਿਲੀ ਪ੍ਰਤੀਕਿਰਿਆ ਦੇ ਸਮੇਂ ਨੂੰ ਮਾਪੋ
- 02
ਬੈਚ ਜੌਬ: ਸਮੇਂ ਦੇ ਅੰਤਰਾਲ ਵਿੱਚ ਪੂਰੇ ਕੀਤੇ ਇਨਪੁੱਟ ਮਾਪੋ
- 03
ਚੁਣੇ ਗਏ ਇਨਪੁੱਟ ਲੰਬਾਈ ਲਈ ਚੋਟੀ ਦੀ ਮੈਮੋਰੀ ਟ੍ਰੈਕ ਕਰੋ
ਸੰਰਚਨਾ ਦੀਆਂ ਲੋੜਾਂ
ਤੁਸੀਂ ਚਲਾਉਂਦੇ GPU VM ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਐਂਡਪੌਇੰਟ ਵਿਚੋਂ ਚੋਣ ਕਰੋ। ਪਬਲਿਕ ਫਾਈਂਡਰ ਇਸ ਸਮੇਂ GPU VM ਦੀ ਪੇਸ਼ਕਸ਼ਾਂ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ, ਪ੍ਰਬੰਧਿਤ ਇੰਫਰੈਂਸ SLA ਨਹੀਂ।