Decisión de arquitectura
La capacidad de GPU determina el trabajo de embedding; el tamaño del índice y el comportamiento de consulta determinan los recursos de la base de datos. Planéelos por separado.
GLOBALATLAS AI · Infraestructura de embedding
Infraestructura de incrustación
Las canalizaciones de incrustación codifican la entrada en vectores y generalmente combinan la ejecución del modelo con un índice o base de datos separados.
Construir una canalización de recuperación
- 01
Dividir documentos fuente en entradas
- 02
Generar vectores con una versión fija del modelo
- 03
Almacenar vectores y metadatos en un índice separado
Requisitos de configuración
Especificar modelo, longitud de entrada, tamaño de lote y crecimiento del índice. La inferencia en GPU y el almacenamiento vectorial deben dimensionarse por separado.