Архитектуралық шешім
Барлық Llama отбасының өлшемін 8B мысалынан жасамаңыз. Контекст кэш және орындалу шығындары қосымша жад талап етеді.
GLOBALATLAS AI · Llama үшін инфрақұрылым
Llama үшін инфрақұрылым
Llama — модельдер отбасына жатады. Llama 3.1 8B — 8 миллиард параметрлі модельдің мысалы, әр Llama шығарылымы үшін сыйымдылық уәде емес.
Llama орналастыру профилін дайындау
- 01
Модель нұсқасы, көлемі және лицензиясы
- 02
Салмақтардан тыс дәлдік және орындалу жадын жоспарлау
- 03
Чат үлгісі, контекст және бағалау сұраулары
Конфигурациялық талаптар
16 битпен 8B тығыз салмақтар үшін салмақ-ғана бағалау 16 ГБ-ға тең. Операциялық жүйе мен KV кэшіне қосымша жад қажет; модель лицензиясын тексеріңіз.