Одлука за архитектура
Не големете ја целата Llama фамилија од пример со 8B. Кешот за контекст и времезната надградба се дополнителни на тежината на меморијата.
GLOBALATLAS AI · Инфраструктура за Llama
Инфраструктура за Llama
Llama е фамилија на модели. Llama 3.1 8B е пример за модел со 8 милијарди параметри, а не ветување за капацитет за секое издание на Llama.
Подготовка на профил за распоредување Llama
- 01
Верзија на моделот, големина и лиценца
- 02
Прецизност и време на извршување над тежините
- 03
Шаблон за разговор, контекст и прашања за проценка
Барања за конфигурација
За 8B густина на тежини со 16 бита, проценката за тежината е 16 GB десетичен. Време за извршување и кешот KV бараат дополнителна меморија; проверете лиценцата на моделот.