Odluka o arhitekturi
Kapacitet GPU-a određuje rad na ugradnji; veličina indeksa i ponašanje upita određuju resurse baze podataka. Planirajte ih odvojeno.
GLOBALATLAS AI · Infrastruktura za ugrađivanje
Infrastruktura za ugradnju
Ugradni pipeline-ovi kodiraju ulaz u vektore i obično kombiniraju izvođenje modela s zasebnim indeksom ili bazom podataka.
Izgradite pipeline za dohvat podataka
- 01
Podijelite izvore dokumenata u ulaze
- 02
Generirajte vektore s fiksnom verzijom modela
- 03
Pohranjujte vektore i metapodatke u zasebnom indeksu
Zahtjevi za konfiguraciju
Navedite model, duljinu ulaza, veličinu serije i rast indeksa. Inference na GPU-u i pohrana vektora trebaju biti posebno dimenzionirani.