Решение за архитектура
Не определяйте размера на цялото семейство Llama от пример с 8B. Кешът за контекст и изпълнителната тежест са допълнителни към тегловата памет.
GLOBALATLAS AI · Инфраструктура за Llama
Инфраструктура за Llama
Llama е семейство модели. Llama 3.1 8B е пример за модел с 8 милиарда параметъра, а не обещание за капацитет за всяко издание на Llama.
Подгответе профил за разгръщане на Llama
- 01
Версия на модел, размер и лиценз
- 02
Прецизност и време за изпълнение извън теглата
- 03
Шаблон за чат, контекст и стимули за оценка
Изисквания за конфигурация
За 8B плътни тегла при 16 бита, оценката само за теглото е 16 GB десетично. Времето за изпълнение и кешът KV изискват допълнителна памет; проверете лицензията на модела.