Architektūros sprendimas
GPU talpa lemia įdėjimo darbą; indeksų dydis ir užklausų elgsena lemia duomenų bazės išteklius. Juos planuokite atskirai.
GLOBALATLAS AI · Įdėjimo infrastruktūra
Įdiegimo infrastruktūra
Įdiegimo vamzdynai koduoja įvestį į vektorius ir dažnai jungia modelio vykdymą su atskira indeksu ar duomenų baze.
Sukurkite paieškos vamzdyną
- 01
Suskaidyti šaltinio dokumentus į įvestis
- 02
Generuoti vektorius su fiksuota modelio versija
- 03
Saugo vektorius ir metaduomenis atskirame indekse
Reikalavimai konfigūracijai
Nustatyti modelį, įvesties ilgį, partijų dydį ir indekso augimą. GPU inferencija ir vektorių saugykla turėtų būti įvertinti atskirai.