Názory k článku pgvector: vektorová databáze postavená na Postgresu

zajimave. Jak je na tom pgvector v porovnani s Milvusem? Ten se (zda se) pouziva hodne casto. Taky FAISS, ale to je asi jen v LLM oblasti?

Pgvector je pomalý a vyplatí se jen když potřebuješ kombinovat vector query s nějakou SQL query. Není problém udělat něco co je 100x rychlejší i na CPU (správné indexování, atd...).

nějakou ruční optimalizací možná to 100x půjde, ale třeba Milvus tedy 100x rychlejší než pgvector není. Jo pokud něco běží na GPU, tak asi ano, ale málokdo má GPU s dostatkem paměti.

Je potřeba dobrý index a nepočítat věci pořád znovu.

Jak počítá pgvector třeba cosine similarity?

Takto:

/* Auto-vectorized */
for (int i = 0; i < dim; i++)
{
    similarity += ax[i] * bx[i];
    norma += ax[i] * ax[i];
    normb += bx[i] * bx[i];
}

A přitom 2/3 výpočtů se dá předpočítat. A toto funkce je bottleneck!

Takže problém pgvectoru je, že se nikdo nepokusil o optimalizace, a nebo je to v rámci pg prostě jedno, protože tam jsou jiné režie. Takže jak říkám, není to pro ty co chcou třeba 5k qps na jádro, ale pro ty, co jim stačí třeba 20.

to je pravda, bez indexů to bude špatné. akorát se potom namísto přesných výsledků budou provádět "odhady" (viz příště). Ono to v praxi většinou až tak nevadí, pokud je to běžná úloha na similarity search, ale někdy je to problém.

O tomto rozsireni bol celkom zaujimavy talk na tohtorocnom FOSDEMe:

https://fosdem.org/2025/schedule/event/fosdem-2025-5531-from-queries-to-pints-building-a-beer-recommendation-system-with-pgvector/

sila tohto rozsirenia vynikne, ak su vektory fakt dlhe a ako kazdy zaujimavy problem v pocitacovych vedach, vacsinou dlhe vektory skoncia pri umelej inteligencii.

diky podivam se. Z popisku to vypada, ze dela presne to, na co je pgvector urcenej, tak jsem zvedavej.