Rozhodnutí o architektuře
Kapacita GPU určuje práci s embeddingy; velikost indexu a chování dotazů určují zdroje databáze. Plánujte je samostatně.
GLOBALATLAS AI · Infrastruktura embeddingů
Pipeline vložení kódu kódu zakóduje vstup do vektorů a obvykle kombinuje spuštění modelu s odděleným indexem nebo databází.
Rozdělit zdrojové dokumenty na vstupy
Generujte vektory s pevnou verzí modelu
Ukládejte vektory a metadata v samostatném indexu
Kapacita GPU určuje práci s embeddingy; velikost indexu a chování dotazů určují zdroje databáze. Plánujte je samostatně.
Specifikujte model, délku vstupu, velikost dávky a růst indexu. Inferenci GPU a ukládání vektorů by měly být dimenzovány samostatně.