Рішення архітектури
Не оцінюйте всю сімейство Llama з прикладом 8B. Кеш контексту та час виконання додаються до ваги пам’яті.
GLOBALATLAS AI · Інфраструктура для Llama
Інфраструктура для Llama
Llama — це сімейство моделей. Llama 3.1 8B — приклад моделі з 8 мільярдами параметрів, а не обіцянка ємності для кожного релізу Llama.
Підготуйте профіль розгортання Llama
- 01
Версія моделі, розмір та ліцензія
- 02
Точність і час роботи пам’яті понад ваги
- 03
Шаблон чату, контекст та підказки для оцінки
Вимоги до конфігурації
Для щільних ваг 8B при 16 бітів, оцінка ваг лише — 16 ГБ у десятковому форматі. Час виконання та кеш KV потребують додаткової пам’яті; перевірте ліцензію моделі.