Vlákno názorů k článku Rozšíření PostgreSQL jménem pgvector, embedding a sémantické vyhledávání (1. část) od cc - Toto se vyplatí jen když člověk nemá těch...

Toto se vyplatí jen když člověk nemá těch vektorů moc a potřebuje opravdu SQL jako filter. Zkoušel jsem to na jeden projekt a prostě to nešlo - když má člověk třeba 100m vektorů tak je potřeba mnohem lepší index a tuning. A když to filtrování není složité tak post-filter taky funguje celkem dobře.

Je to velký trade-off a ty funkce v pgvectoru mi a ni nepřišli nějak optimalizované. Třeba cosine distance a L2 distance může člověk udělat velmi podobně ryché, jen je k tomu potřeba normalizační koeficient těch vektorů (pro oba vektory co se porovnávají se dá předpočítat, a pro ty v DB dokonce uložit jako metadata).

přesně tak, pro tak velké datové sady (100M, ale už klidně u 1M) už je exaktní vyhledávání strašně pomalé a je nutný použít IVFFlat nebo HNSW (nic dalšího pgvector zatím nepodporuje). Nebo jít do FAISS na GPU, když na to má firma peníze (což většinou nemá :-).

Nebo Vamana - to je podle mě top pro opravdu velký dataset. Jen je potřeba následovat tu implementaci od MS a ne to dělat podle toho jejich research paperu, který tam má snad i úmyslné chyby.