Выбор архитектуры
GPU обслуживает вычисление эмбеддингов; размер индекса и запросы определяют ресурсы базы. Рассчитывайте их отдельно.
GLOBALATLAS AI · Инфраструктура для эмбеддингов
Инфраструктура для эмбеддингов
Конвейер эмбеддингов преобразует вход в векторы и обычно сочетает модель с отдельным индексом или базой данных.
Постройте конвейер поиска
- 01
Разделить исходные документы на входы
- 02
Сгенерировать векторы фиксированной версией модели
- 03
Сохранить векторы и метаданные в отдельном индексе
Требования к конфигурации
Укажите модель, длину входа, batch size и рост индекса. GPU-инференс и хранение векторов рассчитываются отдельно.