Решение за архитектура
GPU капацитетът определя работата по внедряване; размерът на индекса и поведението при заявки определят ресурсите за база данни. Планирайте ги отделно.
GLOBALATLAS AI · Инфраструктура за внедряване
Инфраструктура за вграждане
Пайплайни за вграждане кодират входа в вектори и обикновено съчетават изпълнението на модел с отделен индекс или база данни.
Изградете pipeline за извличане
- 01
Разделете източниковите документи на входове
- 02
Генериране на вектори с фиксирана версия на модела
- 03
Съхранявайте вектори и метаданни в отделен индекс
Изисквания за конфигурация
Посочете модел, дължина на входа, размер на партидата и растеж на индекса. Инференсът на GPU и съхранението на вектори трябва да бъдат мащабирани отделно.