Názory k článku Just in time překlad programů psaných v Pythonu nástrojem Numba

My Numbu zkoušíme a pro Numpy atd. je to moc pěkný. Pandas to na druhou stranu tak dobře neoptimalizuje. Ale co mě zaráží nejvíc je, že ten projekt je prakticky neznámej. Nechápu proč, protože resources (hlavně CPU time) třeba na produkci opravdu šetří, řekněme z 30-40%.

Pretoze kazdy ktop chce setrit CPU pouzije nieco ine ako python.

Co použije?

Analytickou databazi, pokud je dat hodne.

DuckDB, KDB např.

Nepravda.

V čem? Že se stejně volají knihovny napsané v C/C++/Fortranu, takže se to neprojeví?

Ano, pokud je program CPU bound tj. chroustí čísla pak se volají knihovny v C/C++/Fortran. Program ale nedělá většinou jen to. A Python na to vše kolem, je good enough. Jedna by mohl např. vzít Go, jako něco lepšího. Je ale třeba volání C knihoven z Go rychlejší než z Pythonu? Zdá se že ani ne. Nebo to napsat celé třeba v C++/Fortran, vždycky možnost. Člověk by se ale třeba divil jak je rychlé R, když to volá nativní knihovny.

Však ty víš lépe než já :D

23. 5. 2023, 13:16 editováno autorem komentáře

No ak trochu lepsie JIT sa tak vyrazne prejavi na performace, tak sa python nepouziva len ako lepidlo.

A co pouzit? Kludne modernu Javu, C#, Go,...

Jako jo, v tomhle máš pravdu. Jen nesmíš zapomenout, že binding na Python má každá druhá nativní knihovna a pak to výrazně klesá asi takhle: Java, Go, C#.

Já mám poměrně čerstvou zkušenost z projektu, kde byly výpočty i embedded s trochou robotiky (v oblasti oceánografie), a nejvíc se osvědčila nejjednodušší řešení. V zásadě nejde ani tak o rychlost, jako spíše spolehlivost a snadnou modifikovatelnost. Ten projekt byl naprosto geniální pro výuku studentů, kde si osahali spoustu praktických technologií a taky teorii (fyzikální modelování).

to praveze ne. Napred se treba udela model v Pythonu (napada me max. jeste Julia) a potom se to nasadi do produkce. A tam je snaha o snizeni nakladu nebo ziskani vysledku rychleji. A tady se Numba, PyPy nebo i AOT prekladace hodi*

* Python neni inherentne pomaly, pomaly je CPython, tedy jedna jeho implementace (a soucasne i implementace referencni), ale ne implementace jedina

"Python neni inherentne pomaly, pomaly je CPython, tedy jedna jeho implementace" Tesat do kamene.

Julia vznikla právě proto, aby člověk nemusel kód kvůli zvýšení rychlosti přepisovat. Ostatně je JAOT (nad LLVM). Akorát mi dost vadí, že nemá statickou typovou kontrolu (byť má typové anotace a inferenci), takže to je spíše takový nativně překládáný JavaScript.

Asi to tu všichni znáte, ale třeba si to někdo rád přečte.

https://www.nature.com/articles/d41586-020-03382-2

https://www.nature.com/articles/d41586-019-02310-3

O Go (nepřekvapivě) nic podobného není, ale časem čekám Mojo :)

Dik za clanek, Numba je super! Pro me v 90% pripadech resi pomalost Pythonich programu, a to prakticky zadarmo. Jedno omezeni, ktere jsem v clanku nezaznamenal (omlouvam se jestli jde o moji nepozornost) je omezena kompatibilita Numby s jinymi knihovnami, zejmena Scipy. Spominam, ze pri praci s distribucemi ze scipy.stats Numba nesla pouzit.