Odluka o arhitekturi
Kapacitet GPU-a određuje rad na ugradnji; veličina indeksa i ponašanje upita određuju resurse baze podataka. Planirajte ih odvojeno.
GLOBALATLAS AI · Infrastruktura za ugradnju
Infrastruktura za ugradnju
Pipeline-ovi za ugradnju kodiraju ulaz u vektore i obično kombinuju izvršenje modela sa posebnim indeksom ili bazom podataka.
Izgradite pipeline za preuzimanje podataka
- 01
Podelite izvore dokumenata na ulaze
- 02
Generišite vektore sa fiksnom verzijom modela
- 03
Čuvajte vektore i metapodatke u odvojenom indeksu
Zahtevi za konfiguraciju
Navedite model, dužinu ulaza, veličinu grupe i rast indeksa. Inferencija na GPU i skladištenje vektora treba da budu posebno dimenzionisani.