zajimave. Jak je na tom pgvector v porovnani s Milvusem? Ten se (zda se) pouziva hodne casto. Taky FAISS, ale to je asi jen v LLM oblasti?
Pgvector je pomalý a vyplatí se jen když potřebuješ kombinovat vector query s nějakou SQL query. Není problém udělat něco co je 100x rychlejší i na CPU (správné indexování, atd...).
nějakou ruční optimalizací možná to 100x půjde, ale třeba Milvus tedy 100x rychlejší než pgvector není. Jo pokud něco běží na GPU, tak asi ano, ale málokdo má GPU s dostatkem paměti.
Je potřeba dobrý index a nepočítat věci pořád znovu.
Jak počítá pgvector třeba cosine similarity?
Takto:
/* Auto-vectorized */
for (int i = 0; i < dim; i++)
{
similarity += ax[i] * bx[i];
norma += ax[i] * ax[i];
normb += bx[i] * bx[i];
}
A přitom 2/3 výpočtů se dá předpočítat. A toto funkce je bottleneck!
Takže problém pgvectoru je, že se nikdo nepokusil o optimalizace, a nebo je to v rámci pg prostě jedno, protože tam jsou jiné režie. Takže jak říkám, není to pro ty co chcou třeba 5k qps na jádro, ale pro ty, co jim stačí třeba 20.
to je pravda, bez indexů to bude špatné. akorát se potom namísto přesných výsledků budou provádět "odhady" (viz příště). Ono to v praxi většinou až tak nevadí, pokud je to běžná úloha na similarity search, ale někdy je to problém.
To má i pgvector (tu aproximaci), ale i tak to nemá výkon, protože i při aproximaci je potřeba volat tu distance funkci třeba 10000x na query (když chci recall třeba kolem 98-99%).
V tomto případě se prostě vyplatí ručně optimalizovat a přemýšlet - fakt nechápu, proč by si ta databáze nemohla předpočítat ty sumy pro každý vektor, je to snad to nejjednodušší co se dá udělat a v tomto případě to je 66% compute gain (FMA není zadarmo a tento loop FMA jednoznačně saturuje).
Ale samozřejmě se vyplatí i další optimalizace - když mám index, tak to znamená "skoky" v DB, takže tady je lepší bulking a implementovat to přímo v té funkci. Dělal jsem na něčem takovám a je to fakt neuvěřitelné jak se to celé dá zoptimalizovat tak, že compute už není problém, ale memory bandwidth je - pak už není co dělat :)
jj souhlas, zase jsme zpátky u SIMD :-) Tyjo netuším, proč to nedělají. Přitom pgvector se nasazuje pro LLM (RAG) s fakt dlouhýma vektorama, tam by to pomohlo.
O tomto rozsireni bol celkom zaujimavy talk na tohtorocnom FOSDEMe:
sila tohto rozsirenia vynikne, ak su vektory fakt dlhe a ako kazdy zaujimavy problem v pocitacovych vedach, vacsinou dlhe vektory skoncia pri umelej inteligencii.