Рішення архітектури
Обчислювальна потужність GPU визначає обробку вбудовування; розмір індексу та поведінка запитів визначають ресурси бази даних. Плануйте їх окремо.
GLOBALATLAS AI · Інфраструктура для вбудовування
Пайплайни вбудовування кодують вхід у вектори та зазвичай поєднують виконання моделі з окремим індексом або базою даних.
Розділити джерела документів на входи
Генеруйте вектори з фіксованою версією моделі
Зберігайте вектори та метадані у окремому індексі
Обчислювальна потужність GPU визначає обробку вбудовування; розмір індексу та поведінка запитів визначають ресурси бази даних. Плануйте їх окремо.
Вказати модель, довжину вхідних даних, розмір пакету та зростання індексу. Інференс на GPU та зберігання векторів слід розмірювати окремо.