Ze začátku mě u Pythonu překvapovalo, že každý int a float zabírá v paměti takové obrovské bloky tedy přes 24 bajtů. Ale pokud se Python používá pro numericky intenzivní výpočty, je nejlepší to hodit na Numpy a tam už se dají použít nativní datové typy. Nebo Pytorch, ale to už je trošku horší na setup atd. (problémy s virtuálkami, tedy aspoň u nás :-)
Takže ano, jak se píše, Python je zejména u intů strašně neefektivní (jako STRAŠNĚ - udělejte si benchmarky a profiling, sami uvidíte), ale Numpy to řeší poměrně elegantně.
No popravdě jsme se taky nechali chytit do pasti. Problém s Pythonem je, že ho zná (nebo si to myslí) kde kdo a navíc se dá PoC v Pythonu nadatlit fakt rychle. Potom už není čas/chuť to přepsat a třeba v mém teamu je averze vůči něčemu jinému než Python/Go :-)
Takže v důsledku platíme za provoz Pythonních služeb docela dost. Určitou "výhodou" je, že se se hodně používá i storage, takže se ta cena Pythonu na produkci trošku ztrácí. Ale je tam.
Ohlédnuto zpět: kombo Julia+Go by bylo bývalo lepší (s jiným teamem :-)
Má svoje WTF vlastnosti. A hlavně nemá ustálený standard, pořád se vyvíjí dost adhoc. Časem se jistě ustálí, ale zatím to je dost živelné. Startupům to typicky nevadí, ale některým manažerům zřejmě ano.
My v týmu prototypujem numerické výpočty v Julii a do produkce to jde v C++. Osobně bych mnohem raději bastlil v Numpy, ta Julie je ve skutečnosti neskutečně pomalá (člověk čeká vteřiny a desítky vteřin než se něco vůbec začne dít) a ekosystému Scipy+Numpy se to neblíží.
Věřím, že pokud se v Julii píše specificky (správně?), tak to asi dlouhé výpočty zrychlit může, ale my jsme fyzici a chceme rychle prasit :/. Nemluvě o pokusech skompilování Juliáckého kódu do .dll nebo tak něco (furt pomalé a má to gigabajt). Autorům ale nelze upřít pokroky, za 5 let to možná i budu mít rád.
My jsme taky fyzici a prasíme ve Fortranu :) Je fakt, že v Julii se musí psát opatrně, aby kód běžel rychle. A binárky/knihovny dělat neumí, jen sysimage. Verze 1.9 ale nabíhá mnohem rychleji, má caching balíčků nebo něco takového.
Mně se osobně nejvíce líbí Fortran (takový ten klasický předOOPní). C++ je klasika a teď je hype Rust. Julia možná ještě potřebuje dozrát, ale už se dostala do Petaflop klubu, takže něco na ní bude.
Julia se taky prodrala do F1 :D To má malé nevýznamné plus.
https://discourse.julialang.org/t/julia-in-formula-1/79145
S Fortranem se shodnem, v 95-ce jsem léta prasil s láskou! To vědomí, že funkční kód téměř určitě spustím bez problémů i za 20 let má taky něco do sebe :)
Jaký druh služeb vám běží? Je to opravdu Pythonem, není to třeba frameworkem? Typicky spousta aplikací napsaných s pomocí Flask jede v dev módu namísto např. gunicorn atd.
30. 3. 2023, 21:24 editováno autorem komentáře
Jj, samozřejmě jsem dělal profiling atd. Jedná se o jednu komponentu z celé pajplajny (dneska je všechno v IT pajplajna), co dělá jednoduchou činnost:
1. zkonzumuje z Kafky URL do S3
2. stáhne si data z S3
3. provede potřebné výpočty (čistě Pythonovský kód)
4. pošle výsledek do dalšího Kafka topicu
5. když to spadne, pošle původní data + stacktrace + .... do DLQ
Pomalej je ten výpočet (zhruba sekunda na každou zprávu), což je vlastně (stručně řečeno) sada if-ů, nějaký zpracování slovníků, n-tic atd. prostě klasickej Python, žádné volání dalších věcí tam schováno není.
Pipelines jsou všude. Naštěstí pro mne, já na dataflow/workflow systémech vždy ulítával .) Aha takže jste prostě narazily na tu klasickou pomalost Pythonu, kde nepomůže ani přepis do nativního kódu?
Ano, klasická pomalost Pythonu, kde by *pomohl* přepis do nativního kódu, ale z mnoha "korporátních" důvodů to není možné. Je nutný dělat na nových featurách, tým není ochoten a schopen se naučit něco jiného + nějaká snaha o uniformitu (předpokládám abychom byli snáz nahraditelní :-p)
To je klasika. Ale zase na projektu, kde je úplná volnost, pak člověk narazí na Scheme, Prolog, pre-2011 C++ apod. :)
Pokud je rychlost klíčová, není lepší to postavit na jiném HW, typicky na grafických kartách? (pokud to jde paralelizovat).
Bude luxus, až celou funkční aplikaci bude možné předhodit nějaké té expertní strojové inteligenci s úkolem "převeď to do Rustu, optimalizuj to na výkon a kdyby tam byla nějaká bezpečnostní rizika, dej vědět".
Rychlost není klíčová, samozřejmě to jde naškálovat. Ale platí se za to, protože to běží v čmoudech...
Taky mám pár věcí v oblacích a musím tomu podřizovat architekturu aplikace, abych neplatil moc.
Ono je to na jednu stranu pěkné, kolik je tam fičůr majících usnadnit vývoj, nasazení, škálování, monitoring, ale pak si umí naúčtovat za 1GB RAMky/měsíc takovou částku, že bych za to koupil 4GB do vlastního serveru.
Já Python používám jen na kalkulačce, tam asi Numpy nepustím, pravda? Je to jedna z těch lepších, má 128 kB RAM :)