Vlákno názorů k článku pgvector: vektorová databáze postavená na Postgresu od atarist - zajimave. Jak je na tom pgvector v porovnani...

zajimave. Jak je na tom pgvector v porovnani s Milvusem? Ten se (zda se) pouziva hodne casto. Taky FAISS, ale to je asi jen v LLM oblasti?

Pgvector je pomalý a vyplatí se jen když potřebuješ kombinovat vector query s nějakou SQL query. Není problém udělat něco co je 100x rychlejší i na CPU (správné indexování, atd...).

nějakou ruční optimalizací možná to 100x půjde, ale třeba Milvus tedy 100x rychlejší než pgvector není. Jo pokud něco běží na GPU, tak asi ano, ale málokdo má GPU s dostatkem paměti.

Je potřeba dobrý index a nepočítat věci pořád znovu.

Jak počítá pgvector třeba cosine similarity?

Takto:

/* Auto-vectorized */
for (int i = 0; i < dim; i++)
{
    similarity += ax[i] * bx[i];
    norma += ax[i] * ax[i];
    normb += bx[i] * bx[i];
}

A přitom 2/3 výpočtů se dá předpočítat. A toto funkce je bottleneck!

Takže problém pgvectoru je, že se nikdo nepokusil o optimalizace, a nebo je to v rámci pg prostě jedno, protože tam jsou jiné režie. Takže jak říkám, není to pro ty co chcou třeba 5k qps na jádro, ale pro ty, co jim stačí třeba 20.

to je pravda, bez indexů to bude špatné. akorát se potom namísto přesných výsledků budou provádět "odhady" (viz příště). Ono to v praxi většinou až tak nevadí, pokud je to běžná úloha na similarity search, ale někdy je to problém.