Выбор архитектуры
Не рассчитывайте всё семейство Llama по примеру 8B. Кеш контекста и среда исполнения требуют памяти сверх весов.
GLOBALATLAS AI · Инфраструктура для Llama
Инфраструктура для Llama
Llama — семейство моделей. Llama 3.1 8B — пример модели с 8 миллиардами параметров, а не ориентир мощности для всех релизов Llama.
Подготовьте профиль развёртывания Llama
- 01
Версия, размер модели и лицензия
- 02
Точность и память среды помимо весов
- 03
Шаблон чата, контекст и проверочные запросы
Требования к конфигурации
Для плотных весов 8B с точностью 16 бит оценка только весов — 16 GB в десятичной системе. Среде выполнения и KV-кешу нужна дополнительная память; проверьте лицензию модели.