Decisão de arquitetura
A capacidade de GPU determina o trabalho de embedding; o tamanho do índice e o comportamento da consulta determinam os recursos do banco de dados. Planeje-os separadamente.
GLOBALATLAS AI · Infraestrutura de embedding
As pipelines de incorporação codificam a entrada em vetores e geralmente combinam execução de modelos com um índice ou base de dados separado.
Dividir documentos fonte em entradas
Gerar vetores com uma versão fixa do modelo
Armazenar vetores e metadados em um índice separado
A capacidade de GPU determina o trabalho de embedding; o tamanho do índice e o comportamento da consulta determinam os recursos do banco de dados. Planeje-os separadamente.
Especificar modelo, comprimento de entrada, tamanho do lote e crescimento do índice. Inferência GPU e armazenamento vetorial devem ser dimensionados separadamente.