ఆర్కిటెక్చర్ నిర్ణయం
GPU సర్వర్ మరియు నిర్వహించబడే ఎండ్‌పాయింట్ వేర్వేరు ఉత్పత్తులు. అభ్యర్థన ఆపరేటింగ్ మోడల్ మరియు వినియోగాన్ని కొలిచే యూనిట్‌ను పేర్కొనాలి.
GLOBALATLAS AI · AI నిర్ధారణ
AI ఇన్ఫరెన్స్
అనుమానించు ఒక శిక్షణ పొందిన మోడల్‌ను అమలు చేస్తుంది. ఇన్‌పుట్ పరిమాణం, బ్యాచింగ్ మరియు సందర్భ పొడవు పని మెమరీ మరియు మోడల్ బరువులను నిర్ణయిస్తాయి.
లేటెన్సీ లేదా బ్యాచ్ థ్రూపుట్?
- 01
ఇంటరాక్టివ్ అభ్యర్థనలు: మొదటి స్పందన ఆలస్యం కొలవండి
- 02
బ్యాచ్ జాబ్స్: సమయ అంతరాలలో పూర్తయిన ఇన్‌పుట్‌లను కొలవండి
- 03
ఎంపిక చేసిన ఇన్‌పుట్ పొడవు కోసం పీక్ మెమరీని ట్రాక్ చేయండి
కాన్ఫిగరేషన్ అవసరాలు
మీరు నడిపించే GPU VM మరియు నిర్వహించబడే ఎండ్‌పాయింట్ మధ్య నిర్ణయం తీసుకోండి. పబ్లిక్ ఫైండర్ ప్రస్తుతం GPU VM ఆఫర్లను మాత్రమే తనిఖీ చేస్తుంది, నిర్వహించబడే ఇన్ఫరెన్స్ SLA కాదు.