Vlákno názorů k článku Knihovna Pandas: základy práce s datovými rámci od Ludolph - Pokud se tyka zpracovani velkych objemu dat, tak...

Pokud se tyka zpracovani velkych objemu dat, tak Pandas ma stale znacne problemy (pomaly, velke naroky na pamet, diskutabilni paralelizace).

V pripade velkych dat je lepsi pouzivat Dask (https://dask.org/), ktery Pandas "emuluje" a ma mnohem lepsi vykonove charakteristiky.

27. 11. 2020, 09:21 editováno autorem komentáře

podle me dask neni o moc lepsi, neresi problem pomalosti pythonu.

spravna cesta jsou knihovny generujici dotazy pro rychle analyticke databaze

Dask je lepší přesně tak jak to Ludolph popsal. Evidentně nemáš zkušenosti ani s jedním.

zalezi, cemu rika velke objemy dat

V tomto pripade je to asi cokoliv nad par GB. Jak pisou zle jazyky, pro dataframe pocitejte pro RAM 5-10x puvodni velikosti dat.
Jestli ovsem mate vetsi data, rad se neco dozvim. Ja jsem skoncil na nejakych 50 milionech radku. Do toho objemu jsem byl spokojeny.