아키텍처 결정
8B 예제에서 Llama 전체를 크기 조정하지 마세요. 컨텍스트 캐시와 런타임 오버헤드가 추가됩니다.
GLOBALATLAS AI · Llama용 인프라
Llama용 인프라
Llama는 모델 계열입니다. Llama 3.1 8B는 8-십억 매개변수 모델의 예시이며, 모든 Llama 릴리스에 대한 용량 약속이 아닙니다.
Llama 배포 프로필 준비
- 01
모델 버전, 크기 및 라이선스
- 02
가중치 이상의 정밀도 및 런타임 메모리
- 03
채팅 템플릿, 컨텍스트 및 평가 프롬프트
구성 요구 사항
16비트 8B 밀집 가중치의 경우, 가중치 전용 추정치는 16 GB입니다. 런타임 및 KV 캐시는 추가 메모리가 필요하며, 모델 라이선스를 확인하세요.