아키텍처 결정
GPU 서버와 관리형 엔드포인트는 별도 제품입니다. 요청 시 운영 모델과 소비량 측정 단위를 명시해야 합니다.
GLOBALATLAS AI · AI 추론
AI 추론
추론은 훈련된 모델을 실행합니다. 입력 크기, 배치 및 컨텍스트 길이가 작업 메모리와 모델 가중치를 결정합니다.
지연 시간 또는 배치 처리량?
- 01
인터랙티브 요청: 최초 응답 지연 시간 측정
- 02
배치 작업: 완료된 입력 수를 시간 간격별로 측정
- 03
선택한 입력 길이의 최대 메모리 사용량 추적
구성 요구 사항
GPU VM과 관리형 엔드포인트 중 선택하세요. 공개 Finder는 현재 GPU VM 제안만 확인하며, 관리형 추론 SLA는 확인하지 않습니다.